Question

我正在尝试使用Wiki的预训练模型根据两个词之间的相似性来比较Glove，Fasttext，Bert和Elmo。 Glove和Fasttext具有预训练的模型，可以轻松地与gensim word2vec在python中一起使用。 Elmo和Bert有这样的模型吗？

Answer 1

以下是在Tensorflow上使用Elmo可用模型并比较两个字符串之间相似性的python代码：

import tensorflow_hub as hub
import tensorflow as tf

elmo = hub.Module("https://tfhub.dev/google/elmo/2", trainable=True)


def elmo_vectors(x):
  embeddings = elmo(x, signature="default", as_dict=True)["elmo"]

  with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    sess.run(tf.tables_initializer())
    # return average of ELMo features
    return sess.run(tf.reduce_mean(embeddings,1))


dist=spatial.distance.cosine(elmo_vectors(["partner"]),elmo_vectors(["vendor"]))

使用经过预先训练的Bert，Elmo获得2个单词之间的相似度得分

1 个答案: