keras model.fit_generator（）比model.fit（）慢几倍

Question

即使在Keras 1.2.2引用merge时，它也包含多处理，但由于磁盘读取速度限制，model.fit_generator()仍然比model.fit()慢约4-5倍。如何通过额外的多处理来加快速度呢？

Answer 1

您可能需要查看documentation中workers的{​​{1}}和max_queue_size参数。实质上，更多fit_generator()会创建更多线程，用于将数据加载到将数据提供给网络的队列中。但是，填充队列可能会导致内存问题，因此您可能希望减少workers以避免此问题。

Answer 2

我有一个类似的问题，我切换到dask将数据加载到内存而不是使用我使用pandas的生成器。因此，根据您的数据大小，如果可能，将数据加载到内存中并使用fit函数。

Answer 3

请尝试使用固态硬盘。无论您使用多少并行处理，都无法解决。