处理丢失的空格的NLP标记生成器

Question

在开源NLP库中，有一个其tokenizer处理丢失的空格吗？例如，短语“this tokenizer isgreat”会给[this，tokenizer，is，great]而不是[this，tokenizer，isgreat]。