如何在张量流嵌入层中使用快速文本向量?

时间:2019-05-31 17:58:59

标签: tensorflow

我只是想弄清楚如何在keras / tensorflow嵌入层中将Fasttext词向量用于OOV词。那里什么也没有。也许有人也想到了这一点,并给我一些提示?

通过单词嵌入查找的方式通过诸如 tf.nn.embedding_lookup(word_embeddings,x)

您可以为一个OOV设置一个索引。但是如何在运行时分配一个特定的矢量(来自不同的自定义源,如fasttext)?

我想象一个可以为一个OOV单词自定义一个向量到UNK索引的函数。

与此有关:

Assign custom word vector to UNK token during prediction?

Using subword information in OOV token from fasttext in word embedding layer (keras/tensorflow)

1 个答案:

答案 0 :(得分:0)

您可以在tensorflow之外进行嵌入查找\计算,并将嵌入的文本用作模型的输入(因此输入将不是单词索引序列,而是向量序列)