有没有办法知道Unicode字符串是否包含Python中的任何中文/日文字符？

Question

我在Python中有一个Unicode字符串。我正在寻找一种方法来确定字符串中是否有任何中文/日文字符。如果可能的话，能够找到这些角色会更好。

这似乎与语言检测问题有点不同。我的字符串可以是英文和中文文本的混合。

我的代码可以访问Internet。

Answer 1

您可以使用Unicode Script属性来确定它们通常与哪些脚本相关联。

遗憾的是，Python的unicodedata模块没有这个属性。但是，许多第三方模块（例如unicodedata2和unicodescript）确实拥有此信息。您可以查询它们并检查Han脚本中是否有任何字符，这些字符对应于中文（以及汉字和汉字）。

Answer 2

我在他的回答中尝试了nneonneo提到的Python的unicodedata模块，我认为它可能有效。

>>> import unicodedata
>>> unicodedata.name('你')
'CJK UNIFIED IDEOGRAPH-4F60'
>>> unicodedata.name('桜')
'CJK UNIFIED IDEOGRAPH-685C'
>>> unicodedata.name('あ')
'HIRAGANA LETTER A'
>>> unicodedata.name('ア')
'KATAKANA LETTER A'
>>> unicodedata.name('a')
'LATIN SMALL LETTER A'

如您所见，汉字和日语采用的汉字被归类为CJK UNIFIED IDEOGRAPH，平假名和片假名被正确识别。我没有测试韩文字符，但我认为它们也应该属于CJK UNIFIED IDEOGRAPH。

另外，如果您只关心它是否是CJK字符/字母，那么这似乎更简单：

>>> import unicodedata
>>> unicodedata.category('你')
'Lo'
>>> unicodedata.category('桜')
'Lo'
>>> unicodedata.category('あ')
'Lo'
>>> unicodedata.category('ア')
'Lo'
>>> unicodedata.category('a')
'Ll'
>>> unicodedata.category('A')
'Lu'

根据here，Ll为小写，Lu为大写，Lo为其他。{/ p>

Answer 3

您可以使用此正则表达式[\u2E80-\u9FFF]来匹配CJK字符。