Question

我正在尝试通过本教程学习如何使用Elmo嵌入：

https://github.com/allenai/allennlp/blob/master/tutorials/how_to/elmo.md

我正在专门尝试使用如下所述的交互模式：

$ ipython
> from allennlp.commands.elmo import ElmoEmbedder
> elmo = ElmoEmbedder()
> tokens = ["I", "ate", "an", "apple", "for", "breakfast"]
> vectors = elmo.embed_sentence(tokens)

> assert(len(vectors) == 3) # one for each layer in the ELMo output
> assert(len(vectors[0]) == len(tokens)) # the vector elements 
correspond with the input tokens

> import scipy
> vectors2 = elmo.embed_sentence(["I", "ate", "a", "carrot", "for", 
"breakfast"])
> scipy.spatial.distance.cosine(vectors[2][3], vectors2[2][3]) # cosine 
distance between "apple" and "carrot" in the last layer
0.18020617961883545

我的总体问题是，如何确保在原始5.5B集上使用经过预训练的elmo模型（此处描述：https://allennlp.org/elmo）？

我不太明白为什么我们必须调用“断言”，或者为什么要对向量输出使用[2] [3]索引。

我的最终目的是对所有词嵌入进行平均，以获得句子嵌入，因此，我想确保自己做对了！

感谢您的耐心等待，因为我在这方面还很新。

Answer 1

默认情况下，ElmoEmbedder使用1 Bil Word基准上的预训练模型的原始权重和选项。大约8亿个代币。为确保使用最大的模型，请查看ElmoEmbedder类的参数。从这里您可能会发现可以设置模型的选项和权重：

elmo = ElmoEmbedder(
    options_file='https://s3-us-west-2.amazonaws.com/allennlp/models/elmo/2x4096_512_2048cnn_2xhighway_5.5B/elmo_2x4096_512_2048cnn_2xhighway_5.5B_options.json', 
    weight_file='https://s3-us-west-2.amazonaws.com/allennlp/models/elmo/2x4096_512_2048cnn_2xhighway_5.5B/elmo_2x4096_512_2048cnn_2xhighway_5.5B_weights.hdf5'
)

我从AllenNLP提供的预训练模型表中获得了这些链接。

assert是测试和确保变量的特定值的便捷方法。看起来像a good resource，以了解更多信息。例如，第一个assert语句可确保嵌入具有三个输出矩阵。

首先，我们用[i][j]进行索引，因为模型输出3层矩阵（我们选择第i个），每个矩阵都有n个令牌（我们选择第j个）），每个长度为1024。注意代码如何比较“苹果”和“胡萝卜”的相似性，两者都是索引j = 3的第四个标记。从示例文档中，我代表以下其中一项：

第一层对应于上下文不敏感令牌表示形式，然后是两个LSTM层。请参阅ELMo纸或 EMNLP 2018的后续工作，以描述什么类型的信息被捕获到每一层。

本文提供了有关这两个LSTM层的详细信息。

最后，如果您有一组句子，则使用ELMO无需对标记向量进行平均。该模型是基于字符的LSTM，在标记化的整个句子上都可以很好地工作。使用为句子组设计的一种方法：embed_sentences()，embed_batch()等More in the code！

如何在交互模式下将Elmo词嵌入与原始预训练模型（5.5B）结合使用

1 个答案: