在lstm语言模型中使用预先训练的word2vec?

时间:2017-06-18 10:35:14

标签: tensorflow lstm word2vec

我使用tensorflow训练LSTM语言模型,代码来自here

根据文章here,似乎如果我使用预先训练过的word2vec,它会更好。

  

使用word嵌入(如word2vec和GloVe)是提高模型准确性的常用方法。使用word2vec或GloVe学习的低维向量不是使用单热矢量来表示我们的单词,而是带有语义 - 类似的单词具有相似的向量。使用这些载体是一种预训练形式。

所以,我想用word2vec来重做训练,但我对如何做到这一点感到有些困惑。

嵌入代码在这里:

with tf.device("/cpu:0"):
  embedding = tf.get_variable(
      "embedding", [vocab_size, size], dtype=data_type())
  inputs = tf.nn.embedding_lookup(embedding, input_.input_data)

如何更改此代码以使用预先培训的word2vec

0 个答案:

没有答案