是否有明确定义的next_batch函数？

Question

在使用神经网络编写代码时，我们通常使用next_batch函数，如下所示：

mnist.train.next_batch(batch_size)

如果使用其他方法，如随机森林，svm，baysian网络， 我们不必使用上面的代码，因为所有的训练数据都会立即放入其中。 但是如果我们想要将神经网络用于数据，我们必须编写代码next_batch。当然我知道tensorflow的next_batch函数代码here， 但是如果数据与内存上的加载一样多，那么上述方法就不合适了。 是否可以为庞大的数据集定义明确的next_batch函数？

提前致谢。

Answer 1

对于无法在内存中使用的大型数据集，您可以使用TensorFlow内置的分布式培训支持。

请参阅TF程序员指南中的reading data章节。具体来说，请阅读批处理部分。 关于RNN，还有一个很棒的blog post，其中第一部分简要介绍了如何使用TF支持进行分布式培训。