批量加载TFRecord文件

时间:2017-06-23 14:01:02

标签: tensorflow

我想用tf.contrib.learn.read_batch_features(...)批量加载.tfrecord条目。当我在训练Estimator时使用以下代码(类似于read_and_decode()的内容)时,它可以工作。当我运行load_samples()时,它会在没有Estimator的情况下运行脚本时挂起eval(session=sess)。我想这是管道问题,但我无法确定问题。我按照tensorflow website上的指南,但没有任何运气。

def read_and_decode(sess, cnt):
    def get_reader():
        return tf.TFRecordReader()

    features = tf.contrib.learn.read_batch_features(
        file_pattern=os.path.join('.', 'test.tfrecord'),
        batch_size=cnt,
        reader=get_reader,
        features={
            'label': tf.FixedLenFeature([], tf.int64),
            'data': tf.FixedLenFeature([], tf.string),
        })
    label = tf.cast(features['label'], tf.int64)
    data = tf.decode_raw(features['data'], tf.float32)

    patch = tf.reshape(data, tf.stack( [cnt, 6, 20, 20] ))
    patch.set_shape( [cnt, 6, 20, 20] )

    return label.eval(session=sess), patch.eval(session=sess)

def load_samples():
    with tf.Session() as sess:
        sess.run([
            tf.local_variables_initializer(),
            tf.global_variables_initializer()
        ])

        coord = tf.train.Coordinator()
        threads = tf.train.start_queue_runners(sess=sess, coord=coord)

        try:
            while not coord.should_stop():
                samples = read_and_decode(sess,100)

        except tf.errors.OutOfRangeError as error:
            coord.request_stop(error)
        finally:
            coord.request_stop()
            coord.join(threads)

请你解释一下我做错了什么?

1 个答案:

答案 0 :(得分:1)

原因是您正在启动队列运行程序,然后您正在定义队列。您需要首先定义函数read_and_decode(),然后启动队列运行程序,这将解决问题。