在预测期间将自定义单词向量分配给UNK令牌吗?

时间:2019-05-08 16:46:27

标签: tensorflow word-embedding

我将tensorflow嵌入层用于像这样的分类模型

with tf.variable_scope('embeddings'):
        word_embeddings = tf.constant(self.embedding_mat, dtype=tf.float32, name="embedding")
        self.embedded_x1 = tf.nn.embedding_lookup(word_embeddings, self.x1)
        self.embedded_x2 = tf.nn.embedding_lookup(word_embeddings, self.x2)

如果我的嵌入矩阵中有一个UNK令牌,但是我没有在训练中使用此UNK,我可以在预测期间分配一个自定义矢量(例如,来自fasttext)吗?那么,对于这个UNK词,它可能与受过训练的词相似,因此文本被归为同一类? 我想知道是否有可能在即时预测过程中取消向量的UNK向量值?

我怎么可能那样做?

0 个答案:

没有答案