Keras分词器如何处理看不见的数据?

时间:2019-09-13 06:08:12

标签: keras nlp

说我已经用一些词汇训练了令牌生成器,现在keras tokenizer()遇到词汇(培训数据)中不存在的单词时,究竟会做什么呢?

1 个答案:

答案 0 :(得分:0)

根据文档,如果您设置了oov_token,则应该能够处理看不见的单词。

oov_token`: if given, it will be added to word_index and used
            to replace out-of-vocabulary words during text_to_sequence calls