用Keras tokenizer干词

时间:2018-06-07 18:18:12

标签: keras

使用Keras tokenizer(https://keras.io/preprocessing/text/#tokenizer),我想对单词应用一些转换:

  • 小写
  • asciifolding
  • steming
  • 同义词(u => you etc. ..)
  • gooood =>好(不知道这个的名字)

(具有弹性搜索/ lucene的功能,使用分析过滤器)。

0 个答案:

没有答案