如何在python中注册porter tokenizer

Question

默认令牌系统＆＃39; porter＆＃39;在fts3模块注册。

注册用户定义的标记化器的一种方法是fts.register_tokenizer()，但它的参数是什么？

因为porter是一个内置的tokenizer，它甚至需要注册吗？

Answer 1

如果您的Python编译了Porter tokenizer，则无需注册。

要注册用户定义的标记生成器，必须使用指向包含C函数指针的C结构的指针调用fts3_tokenizer() SQL函数;这无法通过Python轻松完成。