Question

如何使用input_fn训练TensorFlow Estimator，使实际数据（功能和标签）都不适合内存？

具体而言，我的训练数据如下所示：

// training.txt
0, 0.001, 0.002, 0.003, 0.004,(...)
1, 0.005, 0.006, 0.007, 0.008,(...)
(...)

每行中的第一项是标签（这是针对分类问题），该行中的其余值是一长串浮点数。每行有16,001个值。该文件有数千万行。

我考虑过将输入文件拆分成许多较小的文件，因此每个文件都适合内存，但我没有看到一种干净的方法来切换在运行时使用哪个文件。

Answer 1

您可以使用张量流的数据集API，并从system('start test.bat')返回数据集。