如何充分调整Tensorflow中的大规模tfrecord数据?

时间:2017-03-08 11:06:31

标签: python tensorflow deep-learning

假设我们得到20万张标有“1”的图片,另外20万张标有“0”的图片顺序转换为张量流量的tfrecord。我试图用tf.train.shuffle_batch()来改变tfrecord。问题是,如果没有巨大的min_after_dequeue,我就无法充分改变数据,而min_after_dequeue太大会导致内存不足。是否有任何解决方案?

谢谢!

1 个答案:

答案 0 :(得分:1)

我建议您使用tf.data.Datasethttps://www.tensorflow.org/versions/r1.4/api_docs/python/tf/data/Dataset)来实现此目的,利用shuffle转换以及interleave转换(假设您希望混合使用&#39} ; 1'和' 0'标签)。