在tensorflow中读取数据的最佳方法是什么？

Question

我试图用Tensorflow标记一个测试集，这要求我只对该集合进行一次迭代。通常，我会将我的示例数量填充为我的批量大小的倍数，但在这种情况下，我使用Tensorflow的队列来读取分成数百个文件的数据。当它到达最终批次时，一个批次没有足够的示例，程序终止。我该如何解决这个问题？

Answer 1

我意识到我正在使用tf.train.shuffle_batch()我的火车和验证数据集，因此我转而使用tf.train.batch()进行验证。由于示例数量不是批量大小的精确倍数，因此最终批次将包含一些已经处理过的示例。我保留了一组我已经标记的示例ID，以便丢弃重复项。