TF-Hub Elmo使用哪个词嵌入来与Highway层中的字符连接

Question

我了解Elmo在字符上使用CNN而不是字符。但是，我不明白在公路网中如何将字符嵌入与单词嵌入连接在一起。在Elmo论文中，大多数评估都使用Glove进行单词嵌入和CNN字符嵌入，这在他们提到单词嵌入时很有意义。 但是对于像TF-Hub中那样的预训练模型，我们将其与单词嵌入与“公路”图层中的字符嵌入连接起来？

请帮助我理解。

Answer 1

连接发生在 https://tfhub.dev/google/elmo/3 模型内部。使用 word_emb 输出时，可以获得输入中每个标记的嵌入。嵌入可用于分类或其他类似于基于 BERT/变压器的模型的建模任务。该模型还通过 lstm_outputs1 和 lstm_outputs2 直接访问 LSTM 的某些隐藏状态。