在TensorFlow中运行word2vec.py后,单词嵌入的结果在哪里?

时间:2016-03-21 03:17:54

标签: tensorflow word2vec

我在'/ tensorflow / models / embedding /'文件夹下运行'word2vec.py'文件。但是我在输出文件夹中找不到嵌入字的结果,只有模型文件和一些这样的未知文件:

result files of word2vec

1 个答案:

答案 0 :(得分:0)

因为,从Mikolov的论文中可以清楚地看出,在最后一层中没有获得所有单词的嵌入字。相反,他们砍掉最后一层并获取维度的隐藏层的权重:[vocab_size x embd_dim],即每行是相应单词的单词向量(dimension:embd_dim)。

请参阅此内容以便更好地理解:http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/

因此,在张量流实现中,tf.embedding_lookup具有所有单词的嵌入字。 word2vec.py

中文件/tensorflow/models/embedding/第26行中提到了这一点
24 The key ops used are:
25 * placeholder for feeding in tensors for each example.
26 * embedding_lookup for fetching rows from the embedding matrix.
27 * sigmoid_cross_entropy_with_logits to calculate the loss.
28 * GradientDescentOptimizer for optimizing the loss.
29 * skipgram custom op that does input processing.