Keras Multi_GPU_Model:像糖浆一样慢

时间:2019-07-31 04:15:05

标签: python tensorflow keras multi-gpu

我正在研究Keras用于多GPU建模。因此,在花时间之前,我在lambdalabs的4 gpu实例上尝试了一个简单的skipgram模型。

一个gpu的性能要比Kaggle的内核差一些(在lambda实验室的gpus上内核的数量要少)。

但是多GPU的性能却非常糟糕。我已经读过https://github.com/keras-team/keras/issues/9204,但不清楚像这样的简单模型是否有很多权重合并。

在我们拥有世界和平之时,以批量大小进行游荡会在内存不足和大致收敛之间波动。 问题是:自去年以来,我们是否对喀拉拉邦的多个gpu问题了解更多,我该如何解决问题?

也-我正在使用fit_generator。是gpu还是cpu的参数“ use_multiprocessing”和“ workers”?(我认为是后者)。

1 个答案:

答案 0 :(得分:0)

use_multiprocessing=Trueworkers>0时,keras将使用多进程在cpu中生成您的数据并将其提供给gpu。