如何在经过预训练的ELMO嵌入中获得相似的单词？

Question

如何在经过预先训练的ELMO嵌入中为给定单词获取相似的单词？例如：在Glove中，我们有Gloves_model.most_like（）来查找最相似的单词及其对任何给定单词的嵌入。 同样，我们在ELMO中有东西吗？

Answer 1

不同于GloVe，它从有限的词汇表中为每个单词提供单独的条目，ELMo使用字符级CNN动态地计算单词嵌入，因此从理论上讲，ELMo应该能够处理无限的词汇表。实际上，它仅适用于训练中遇到的单词以及与它们相似的单词，但仍然能够获得向量或任意字符串。

因此，像GloVe那样拥有一种方法没有多大意义。但是，您可以为感兴趣的词汇表预先计算向量，并自己实现最近邻搜索，例如，使用scipy.spatial.cKDTree。