生成用于keras培训的数据

Question

我的训练组非常大。整个东西占用大约120GB的RAM，因此我甚至无法生成numpy.zeros（）数组来存储数据。

从我所看到的情况来看，当整个数据集已经加载到一个数组中时，使用生成器可以很好地工作，但随后会逐步进入网络，然后再删除。

生成器是否可以创建数组，插入数据，将数据加载到网络中，删除数据？或者整个过程需要太长时间，我应该做些别的事情吗？

由于

Answer 1

您不需要一次加载整个数据，您可以加载与批次需求一样多的数据。看看这个answer。