Question

以下是一个简单的测试。 repr似乎工作正常。然而len和x for x in似乎没有在Python 2.6和2.7中正确划分unicode文本：

In [1]: u""
Out[1]: u'\U0002f920\U0002f921'

In [2]: [x for x in u""]
Out[2]: [u'\ud87e', u'\udd20', u'\ud87e', u'\udd21']

好消息是Python 3.3做了正确的事情。

Python 2.x系列有什么希望吗？

Answer 1

是的，只要您使用wide-unicode支持编译Python。

默认情况下，Python仅使用窄的unicode支持构建。通过以下方式启用广泛支持：

./configure --enable-unicode=ucs4

您可以通过测试sys.maxunicode验证使用的配置：

import sys
if sys.maxunicode == 0x10FFFF:
    print 'Python built with UCS4 (wide unicode) support'
else:
    print 'Python built with UCS2 (narrow unicode) support'

对于所有 unicode值，宽版本将使用UCS4字符，使这些值的内存使用量增加一倍。 Python 3.3切换到可变宽度值;只有足够的字节用于表示当前值中的所有字符。

快速演示，显示宽版本正确处理您的示例Unicode字符串：

$ python2.6
Python 2.6.6 (r266:84292, Dec 27 2010, 00:02:40) 
[GCC 4.4.5] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys.maxunicode
1114111
>>> [x for x in u'\U0002f920\U0002f921']
[u'\U0002f920', u'\U0002f921']

python是否支持超出基本多语言平面的unicode？

1 个答案: