Question

我正在使用铬 - 紧凑语言检测器来检测语言，但它无法在字符串中检测到日语。

text = '1/15 HR Div.Q&CS Dept. 全体MTG 開催
1月15日(水)、赤溜オーディトリアムにてHR Div.Q&CS Dept.の全体MTGが開催されました。 ' 

cld.detect(smart_str(text), pickSummaryLanguage=True, removeWeakMatches=False)

output: ('ENGLISH', 'en', True, 11, [('ENGLISH', 'en', 100, 0.8103727714748784)])

建议表示赞赏。

Answer 1

您可能需要先将日语字符串编码为UTF8，例如。试试这个：

import codecs
import cld
cld.detect(codecs.getencoder('UTF-8')(u'1/15 HR Div.Q&CS Dept. 全体MTG 開催1月15日(水)、赤溜オーディトリアムにてHR Div.Q&CS Dept.の全体MTGが開催されました。 ')[0])

我认为cld无法检测到日语。它的新版本称为cld2。点击此处：https://code.google.com/p/cld2/wiki/CLD2FullVersion

铬紧凑语言检测器Django

1 个答案: