Tensorflow处理具有极大的数据

Question

我有一个大图像文件，我试图加载和使用tensorflow（600000,20,64,64）。我想使用批量大小的feed_dict，但是数组太大而无法加载到numpy数组中。有没有我可以使用的方法，不需要我加载整个数组？

Answer 1

“feed_dict”方法仅适用于小数据。对于大数据，有tfrecord或csv格式，可以通过填充张量流输入数据队列的块在单独的线程中读取。有关从HDD读取数据的更多信息，请访问how to read data in tensorflow。

还有a nice blog，其中显示了如何从原始数据准备tfrecords。