如何在Android中自定义FTS tokenizer

Question

因为sqlite fts默认tokenize是'simple'，我可以将它改为'porter'。但我必须支持非美国语言。像中文一样，它不能只按空格或点分割。所以我想自定义标记器。有人可以给我一些建议吗？

1. 如何在Sqlite中注册Tokenizer。

   SELECT fts3_tokenizer(<tokenizer-name>, <sqlite3_tokenizer_module ptr>);
   

   因为sqlite是Android中的系统库，我不知道我是否可以注册。

2. 是否有适用于所有语言的通用标记器？对于我的应用程序必须i18n。只支持中文没用。

Answer 1

当然，您需要自定义SQLite安装。 SQLite Android绑定提供了一种简单的方法。这允许应用程序使用SQLite的自定义构建或版本，无论其部署的Android版本如何，同时继续使用标准Android界面。 https://sqlite.org/android/doc/trunk/www/index.wiki