我只是想弄清楚如何在keras / tensorflow嵌入层中将Fasttext词向量用于OOV词。那里什么也没有。也许有人也想到了这一点,并给我一些提示?
通过单词嵌入查找的方式通过诸如 tf.nn.embedding_lookup(word_embeddings,x)
您可以为一个OOV设置一个索引。但是如何在运行时分配一个特定的矢量(来自不同的自定义源,如fasttext)?
我想象一个可以为一个OOV单词自定义一个向量到UNK索引的函数。
与此有关:
Assign custom word vector to UNK token during prediction?
Using subword information in OOV token from fasttext in word embedding layer (keras/tensorflow)
答案 0 :(得分:0)
您可以在tensorflow之外进行嵌入查找\计算,并将嵌入的文本用作模型的输入(因此输入将不是单词索引序列,而是向量序列)