使用Sqlite FTS搜索日语字符（utf-8编码）

Question

根据我的实验和讨论here，Sqlite FTS似乎不支持搜索日文字符。

#select * from tblEvent_shortdes where short_des MATCH   'ＢＳジャパンの見どころ' 
#return nothing
select * from tblEvent_shortdes where short_des MATCH  'パンの見' 

在FTS中自定义标记器似乎是实现此目的的方法，但我没有找到任何有希望的日语开源标记器。 ICU标记器会吗？

Answer 1

您可以查看ChaSen和MeCab。自从我使用它以来已经有好几年了 - 看起来好像最近都没有更新过 - 但是在日语标记化方面都证明了这一点。