如何在Keras中为无限数据集设置批量大小和纪元值？

Question

我想将图像提供给Keras CNN。该程序随机地输入从网络下载的图像或随机像素值的图像。如何设置批量大小和纪元号？我的训练数据基本上是无限的。

Answer 1

即使您的数据集是无限的，您也必须设置批量大小和时期数。

对于批量大小，您只需通过反复试验即可使用适合GPU / CPU RAM的最大批量大小。例如，您可以尝试两种批量大小的功能，如32,64,128,256。

对于纪元数，这是一个始终必须针对特定问题进行调整的参数。您可以使用验证集进行训练，直到验证损失最大化，或者训练损失几乎不变（收敛）。确保使用数据集的不同部分来决定何时停止培训。然后，您可以在另一个不同的集合（测试集）上报告最终指标。

Answer 2

这是因为实现是矢量化的，以便更快，更高效地执行。当数据很大时，所有数据都无法容纳内存，因此我们使用批处理大小来进行矢量化处理。 我认为，应该使用机器可以处理的大批量。