我正在研究Keras用于多GPU建模。因此,在花时间之前,我在lambdalabs的4 gpu实例上尝试了一个简单的skipgram模型。
一个gpu的性能要比Kaggle的内核差一些(在lambda实验室的gpus上内核的数量要少)。
但是多GPU的性能却非常糟糕。我已经读过https://github.com/keras-team/keras/issues/9204,但不清楚像这样的简单模型是否有很多权重合并。
在我们拥有世界和平之时,以批量大小进行游荡会在内存不足和大致收敛之间波动。 问题是:自去年以来,我们是否对喀拉拉邦的多个gpu问题了解更多,我该如何解决问题?
也-我正在使用fit_generator。是gpu还是cpu的参数“ use_multiprocessing”和“ workers”?(我认为是后者)。
答案 0 :(得分:0)
当use_multiprocessing=True
和workers>0
时,keras将使用多进程在cpu中生成您的数据并将其提供给gpu。