我使用tensorflow训练LSTM
语言模型,代码来自here。
根据文章here,似乎如果我使用预先训练过的word2vec,它会更好。
使用word嵌入(如word2vec和GloVe)是提高模型准确性的常用方法。使用word2vec或GloVe学习的低维向量不是使用单热矢量来表示我们的单词,而是带有语义 - 类似的单词具有相似的向量。使用这些载体是一种预训练形式。
所以,我想用word2vec
来重做训练,但我对如何做到这一点感到有些困惑。
嵌入代码在这里:
with tf.device("/cpu:0"):
embedding = tf.get_variable(
"embedding", [vocab_size, size], dtype=data_type())
inputs = tf.nn.embedding_lookup(embedding, input_.input_data)
如何更改此代码以使用预先培训的word2vec
?