Question

我正在尝试使用张量流从两个不同的dataset源中获取数据。我已经编写了以下代码：

首先，我尝试了以下方法：

import tensorflow as tf
import numpy as np

iters = []

def return_data1():
    d1 = tf.data.Dataset.range(1, 2000)
    iter1 = d1.make_initializable_iterator()
    iters.append(iter1)
    data1 = iter1.get_next()
    return data1

def return_data2():
    d2 = tf.data.Dataset.range(2000, 4000)
    iter2 = d2.make_initializable_iterator()
    iters.append(iter2)
    data2 = iter2.get_next()
    return data2

test = tf.placeholder(dtype=tf.bool)

data = tf.cond(test, lambda: return_data1(), lambda: return_data2())

iter1 = iters[0]
iter2 = iters[1]

init_op = tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init_op)
    sess.run([iter1.initializer, iter2.initializer])

    for i in range(2000):
        if i < 1000:
            print(sess.run(data, feed_dict={test: True}), "..")
        else:
            print(sess.run(data, feed_dict={test: False}), "--")

我收到以下错误：

ValueError: Operation 'cond/MakeIterator' has been marked as not fetchable.

1-我想知道为什么会出现这种情况。

然后，我试图修复我的代码，所以我写了以下内容：

d1 = tf.data.Dataset.range(1, 2000)
d2 = tf.data.Dataset.range(2000, 4000)

iter1 = d1.make_initializable_iterator()
iter2 = d2.make_initializable_iterator()

data1 = iter1.get_next()
data2 = iter2.get_next()

def return_data1():
    return data1

def return_data2():
    return data2

test = tf.placeholder(dtype=tf.bool)

data = tf.cond(test, lambda: return_data1(), lambda: return_data2())

init_op = tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init_op)
    sess.run([iter1.initializer, iter2.initializer])

    for i in range(2000):
        if i < 1000:
            print(sess.run(data, feed_dict={test: True}), "..")
        else:
            print(sess.run(data, feed_dict={test: False}), "--")

从print中，我从第一个数据集中得到1-> 1000的数字，但是当i大于1000时，它开始打印3000 -> 4000。因此，我得出的结论是，当第一个数据集正在运行时，或者从第二个数据集中获取了1000元素时，它们都被忽略了。

后来，当我通过移动data1 = iter1.get_next()和 data2 = iter2.get_next()进入函数定义为：

def return_data1():
    data1 = iter1.get_next()
    return data1

AND

def return_data2():
    data2 = iter2.get_next()
    return data2

该代码有效，现在显示数字1 -> 1000和2000 -> 3000。

我想理解为什么会这样，以便将来避免类似的错误。

我发现tf.control_dependency存在相同类型的问题，该问题接受该操作作为参数，并且不应在外部创建该操作。这种行为使我困惑了一段时间，但是我想知道为什么在张量流中会发生这种情况。

第二，如果我想从两个以上的数据集中选择并单独运行它们，如何在tensorflow中做到这一点？

任何帮助将不胜感激！

Answer 1

这是如何分别从多个数据集中获取数据。但是，我想知道其他有关张量流行为以及为什么应该在方法中定义data2 = iter2.get_next()的问题的答案。

import tensorflow as tf
import numpy as np

d1 = tf.data.Dataset.range(1, 1000)
iter1 = d1.make_initializable_iterator()

d2 = tf.data.Dataset.range(1000, 2000)
iter2 = d2.make_initializable_iterator()

d3 = tf.data.Dataset.range(2000, 3000)
iter3 = d3.make_initializable_iterator()

d4 = tf.data.Dataset.range(3000, 4000)
iter4 = d4.make_initializable_iterator()

def return_data1_2():
    data1 = iter1.get_next()
    data2 = iter2.get_next()
    return data1, data2

def return_data2_3():
    data2 = iter2.get_next()
    data3 = iter3.get_next()
    return data2, data3

def return_data3_4():
    data3 = iter3.get_next()
    data4 = iter4.get_next()
    return data3, data4

def return_data4_1():
    data4 = iter4.get_next()
    data1 = iter1.get_next()
    return data4, data1

index1 = tf.placeholder(dtype=tf.int32)
index2 = tf.placeholder(dtype=tf.int32)

data = tf.case(pred_fn_pairs=[
    (tf.logical_and(tf.equal(index1, 1), tf.equal(index2, 2)), lambda: return_data1_2()), 
    (tf.logical_and(tf.equal(index1, 2), tf.equal(index2, 3)), lambda: return_data2_3()),
    (tf.logical_and(tf.equal(index1, 3), tf.equal(index2, 4)), lambda: return_data3_4()),
    (tf.logical_and(tf.equal(index1, 4), tf.equal(index2, 1)), lambda: return_data4_1())], exclusive=False)

init_op = tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init_op)
    sess.run([iter1.initializer, iter2.initializer, iter3.initializer, iter4.initializer])


    for i in range(2000):
        try:
            if i < 500:
                print(sess.run(data, feed_dict={index1: 1, index2: 2}), "1-2")
            elif i < 1000:
                print(sess.run(data, feed_dict={index1: 2, index2: 3}), "2-3")
            elif i < 1500:
                print(sess.run(data, feed_dict={index1: 3, index2: 4}), "3-4")
            elif i < 2000:
                print(sess.run(data, feed_dict={index1: 4, index2: 1}), "4-1")
        except tf.errors.OutOfRangeError as error:
            print("error")

使用数据集API从两个不同数据源获取数据时了解张量流行为

1 个答案: