Keras实现的skip-gram字嵌入非常慢

时间:2017-06-23 17:58:42

标签: keras keras-2

我正在尝试使用发布的示例来训练skip-gram单词嵌入 https://github.com/nzw0301/keras-examples/blob/master/Skip-gram-with-NS.ipynb

在GPU GeForce GTX 1080上使用英文维基百科(约100M句子)。

训练时间非常慢〜估计27天/纪元,大小为50k的词汇,对于这个非常简单的模型来说有点奇怪。我正在使用CUDA 8和CUDNN 5.1。后端是张量流1.2.0&我正在使用keras 2.0.2。 我想知道是否有人之前训练过具有keras实现的skip-gram模型?有什么想法为什么上面的实现很慢?我确保预处理不是主要问题。 谢谢,

0 个答案:

没有答案