将数据集元素拆分为多个数据集元素

时间:2018-06-10 00:24:34

标签: python tensorflow

我正在使用TFRecords的集合。每个TF记录都是一个编码的(1000,128,128,10)numpy数组,代表1000个元素的128x128x10网格大型10通道图像的采样。

要加载此数据,我正在执行以下操作:

ds = tf.data.TFRecordDataset(file_paths)
ds = ds.map(decode)
iterator = ds.make_initializable_iterator()
pipe_exit = iterator.get_next()

这里的问题是数据集的每个元素的批量大小都是1000.我希望能够控制批量大小并从不同的文件中随机抽取样本。

我有没有办法将每个(1000,128,128,10)元素映射到数据集队列中的1000个独立(128,128,10)元素?

0 个答案:

没有答案