说我已经用一些词汇训练了令牌生成器,现在keras tokenizer()遇到词汇(培训数据)中不存在的单词时,究竟会做什么呢?
答案 0 :(得分:0)
根据文档,如果您设置了oov_token,则应该能够处理看不见的单词。
oov_token`: if given, it will be added to word_index and used
to replace out-of-vocabulary words during text_to_sequence calls