给出输入“快速棕色狐狸跳”，我想将其标记为
["quick brown", "brown fox" "fox jumped"]
但是，令牌化器似乎没有提供此功能。这感觉它应该是一个常见的功能所以我猜我错过了一些明显的东西。
我可以做ngrams，它允许像
一样['q', 'qu', 'qui', 'quic', 'quick']
但我想得到单词的组合，而不是字母。
支持吗？
Ps，我想这样做的原因是建议下一个单词 - 类似于谷歌建议下一个单词使用。我打算将这个tokenizer与短语建议者一起使用。