批量拆分数据集以节省内存

时间:2018-06-21 12:32:47

标签: python-3.x tensorflow

我有一些tf.Dataset,其中的元素太多,无法容纳到内存中。 目前,我获取了一些样本索引,并使用dataset.map()批量获取了这些索引。

现在,我想将其分为几批,执行一个操作并汇总结果。

我需要带有可配置批处理大小的map-reduce函数。 如何使用Tensorflow解决此问题?

0 个答案:

没有答案