Question

我是tensorflow的新手，我现在正在学习如何使用队列运行器。我想要做的是从dir读取二进制文件并使每个文件成为一个数组。我使用两个线程并批量生成4个数组。代码如下。

  import glob

  import tensorflow as tf

  def readfile(filenames_queue):

        filename = filenames_queue.dequeue()
        value_strings = tf.read_file(filename)
        array = tf.decode_raw(value_strings,tf.uint8)
        return [array]
 def input_pipeline(filenames,batch_size,num_threads=2):

       filenames_queue = tf.train.string_input_producer(filenames)
       thread_lists = [readfile(filenames_queue) for _ in range(num_threads)] 
       min_after_dequeue = 1000 
       capacity = min_after_dequeue+3*batch_size
       arrays = tf.train.shuffle_batch_join(thread_lists,batch_size,capacity,min_after_dequeue)
       return arrays
if __name__ == "__main__":

      filenames = glob.glob('dir/*')
      arrays_batch = input_pipeline(filenames,4)
      with tf.Session() as sess:
           tf.global_variables_initializer().run()
           coord = tf.train.Coordinator()
           threads = tf.train.start_queue_runners(sess,coord)
           for i in range(100):
                 print sess.run(arrays_batch)
           coord.request_stop()
           coord.join(threads)

我已经修正了Victor和Sorin指出的错误，但是出现了新的错误：

文件“input_queue.py”，第36行，打印sess.run（im_arrays_batch）

文件“/usr/local/anaconda2/lib/python2.7/site-packages/tensorflow/python/client/session.py”，第889行，在运行中 run_metadata_ptr）

文件“/usr/local/anaconda2/lib/python2.7/site-packages/tensorflow/python/client/session.py”，第1120行，在_run中 feed_dict_tensor，options，run_metadata）

文件“/usr/local/anaconda2/lib/python2.7/site-packages/tensorflow/python/client/session.py”，第1317行，在_do_run中 options，run_metadata）

文件“/usr/local/anaconda2/lib/python2.7/site-packages/tensorflow/python/client/session.py”，第1336行，在_do_call 提升类型（e）（node_def，op，message） tensorflow.python.framework.errors_impl.OutOfRangeError：RandomShuffleQueue'_1_shuffle_batch_join / random_shuffle_queue'已关闭且元素不足（请求2，当前大小为0） [[Node：shuffle_batch_join = QueueDequeueManyV2 [component_types = [DT_UINT8]，timeout_ms = -1，_device =“/ job：localhost / replica：0 / task：0 / device：CPU：0”]（shuffle_batch_join / random_shuffle_queue，shuffle_batch_join / n ）]]

由op u'shuffle_batch_join'引起，定义于：

文件“input_queue.py”，第30行，中 im_arrays_batch = input_pipeline（filenames，2）

在input_pipeline中输入第23行的“input_queue.py” arrays_batch = tf.train.shuffle_batch_join（thread_lists，batch_size，capacity，min_after_dequeue）

文件“/usr/local/anaconda2/lib/python2.7/site-packages/tensorflow/python/training/input.py”，第1367行，在shuffle_batch_join中名称=名）

文件“/usr/local/anaconda2/lib/python2.7/site-packages/tensorflow/python/training/input.py”，第833行，在_shuffle_batch_join中 dequeued = queue.dequeue_many（batch_size，name = name）

文件“/usr/local/anaconda2/lib/python2.7/site-packages/tensorflow/python/ops/data_flow_ops.py”，第464行，在dequeue_many self._queue_ref，n = n，component_types = self._dtypes，name = name）

文件“/usr/local/anaconda2/lib/python2.7/site-packages/tensorflow/python/ops/gen_data_flow_ops.py”，第2418行，在_queue_dequeue_many_v2中 component_types = component_types，timeout_ms = timeout_ms，name = name）

文件“/usr/local/anaconda2/lib/python2.7/site-packages/tensorflow/python/framework/op_def_library.py”，第787行，在_apply_op_helper中 op_def = op_def）

文件“/usr/local/anaconda2/lib/python2.7/site-packages/tensorflow/python/framework/ops.py”，第2956行，在create_op中 op_def = op_def）

文件“/usr/local/anaconda2/lib/python2.7/site-packages/tensorflow/python/framework/ops.py”，第1470行， init self._traceback = self._graph._extract_stack（）#pylint：disable = protected-access

OutOfRangeError（参见上面的回溯）：RandomShuffleQueue'_1_shuffle_batch_join / random_shuffle_queue'已关闭且元素不足（请求2，当前大小为0） [[Node：shuffle_batch_join = QueueDequeueManyV2 [component_types = [DT_UINT8]，timeout_ms = -1，_device =“/ job：localhost / replica：0 / task：0 / device：CPU：0”]（shuffle_batch_join / random_shuffle_queue，shuffle_batch_join / n ）]]

Answer 1

您的readfile(...):函数应该返回一个iterable，以便您可以返回功能和标签或其他类似的内容。

所以要修改代码更改readfile(...):到

return [arrays]

Answer 2

来自tf.train.shuffle_batch_join：

tensors_list参数是张量元组的列表

在此致电tf.decode_raw produces Tensor instances，并将其列入thread_lists = [readfile(filenames_queue) for _ in range(num_threads)]的列表中。

因此，不是你提供的张量元组列表，而是张量列表，因此张量试图被迭代，因此错误TypeError: 'Tensor' object is not iterable。

在张量流

2 个答案: