Question

我知道Pymongo支持许多语言的文本搜索功能，例如英语，法语，德语......，但对中文不起作用。在MongoDB 3.4 + Pymongo 3.4的环境下，有没有可用的方法来实现中文全文搜索？

Answer 1

我认为pymongo免费版不支持中文全文搜索的主要原因是中文分词很难。我有间接的方法来处理Pymongo的中文全文搜索。可以在将语料库存储到MongoDB或从MongoDB搜索句子之前完成分段。我强烈建议jieba模块用于中文分段。有一个独立的简单示例，在某种程度上对我有用。

from pymongo import MongoClient
from pymongo import TEXT
import jieba
client = MongoClient()
dialogs = client['db']['dialogs_zh_fulltext']
d1 = {
    'text_in': '你 早上 吃 的 什么 ?',
    'text_out': '我 吃 的 鸡蛋',
}
d2 = {
    'text_in': '你 今天 准备 去 哪 ?',
    'text_out': '我 要 回家',
}
dialogs.insert_many([d1,d2])
dialogs.create_index([('text_in', TEXT)], default_language='en')
keywords = ' '.join(jieba.lcut('你今天早上去哪了?'))
print('keywords: {}'.format(keywords))
cursor = dialogs.find({'$text': {'$search':keywords}}, {'score':{'$meta':'textScore'}})
for x in cursor.sort([('score', {'$meta':'textScore'})]):
    print(x)

输出：

keywords: 你 今天 早上 去 哪 了 ?
{'_id': ObjectId('59673a0d5975ae05e9b27dd8'), 'text_in': '你 今天 准备 去 哪 ?', 'text_out': '我 要 回家', 'score': 2.4}
{'_id': ObjectId('59673a0d5975ae05e9b27dd7'), 'text_in': '你 早上 吃 的 什么 ?', 'text_out': '我 吃 的 鸡蛋', 'score': 1.2}

Pymongo全文搜索用中文

1 个答案: