Keras可以预取像tensorflow Dataset这样的数据吗？

Question

在TensorFlow的数据集API中，我们可以使用dataset.prefetch(buffer_size=xxx)在GPU处理当前批次的数据时预加载其他批次的数据，因此，我可以充分利用GPU。

我将使用Keras，想知道keras是否具有类似的API供我充分利用GPU，而不是串行执行：读取批处理0->处理批处理0->读取批处理1 ->处理批次1-> ...

我简要浏览了keras API，但没有看到有关预取的描述。

Answer 1

如果您通过fit_generator> 1调用workers，请使用use _ multiprocessing=True，它将预取queue_size批处理。

来自docs：max_queue_size：整数。生成器队列的最大大小。如果未指定，max_queue_size将默认为10。