Question

因此，当我用我的母语在mod_python中发布名称或文字时，我得到：

&#1084;&#1072;&#1082;&#1077;&#1076;&#1086;&#1085;&#1080;&#1112;&#1072;

我也得到了：

UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-9: ordinal not in range(128)

当我使用时：

hparser = HTMLParser.HTMLParser() 
    req.write(hparser.unescape(text))

我该怎么解码？

Answer 1

如果你不理解底层机制，很难解释UnicodeError。你应该真正阅读其中一个或两个

Pragmatic Unicode（Ned Batchelder）
The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)（Joel Spolsky）

在（非常小的）简言之，Unicode代码点是表示一个字符¹的抽象“thingy”。程序员喜欢使用这些，因为我们喜欢将字符串视为一次出现一个字符。不幸的是，很久以前一个字符必须符合一个字节的内存，所以最多可以有256个不同的字符。这对普通英语来说很好，但对其他任何东西都不起作用。有一个代码点的全局列表 - 数千个 - 用于保存每个可能的字符，但显然它们不适合一个字节。

解决方案：构成字符串的代码点的有序列表与其编码作为字节序列之间存在差异。每当你使用字符串时，你必须清楚它应该是这些形式。

要在表单之间进行转换，您可以.encode()将代码点列表（Unicode字符串）作为字节列表，将.decode()字节转换为代码点列表。为此，您需要知道如何将代码点映射到字节，反之亦然，这是编码。如果你没有指定一个，Python 2.x会猜测你的意思是ASCII。如果猜测错误，您将获得UnicodeError。

请注意，Python 3.x在处理Unicode字符串方面要好得多，因为字节和代码点之间的区别要清晰得多。

¹排序。

编辑：我想我应该指出这有多大帮助。但你真的应该阅读上面的链接！只是向所有地方投掷.encode()和.decode()是一种可怕的编码方式，有一天你会被一个更糟糕的问题所困扰。

无论如何，如果你逐步完成你在shell中所做的事情，你会看到

>>> from HTMLParser import HTMLParser
>>> text = "&#1084;&#1072;&#1082;&#1077;&#1076;&#1086;&#1085;&#1080;&#1112;&#1072;"
>>> hparser = HTMLParser()
>>> text = hparser.unescape(text)
>>> text
u'\u043c\u0430\u043a\u0435\u0434\u043e\u043d\u0438\u0458\u0430'

我在这里使用Python 2.7，因此这是一个Unicode字符串，即一系列Unicode代码点。我们可以将它们编码为常规字符串（即字节列表），如

>>> text.encode("utf-8")
'\xd0\xbc\xd0\xb0\xd0\xba\xd0\xb5\xd0\xb4\xd0\xbe\xd0\xbd\xd0\xb8\xd1\x98\xd0\xb0'

但我们也可以选择不同的编码！

>>> text.encode("utf-16")
'\xff\xfe<\x040\x04:\x045\x044\x04>\x04=\x048\x04X\x040\x04'

您需要决定要使用的编码。

当你这么做时出了什么问题？好吧，并非每个编码都能理解每个代码点。特别是，"ascii"编码只能理解前256个！所以如果你试试

>>> text.encode("ascii")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-9: ordinal not in range(128)

你只是得到一个错误，因为你不能用ASCII编码那些代码点。

执行req.write时，您正在尝试按请求编写代码点列表。但HTML请求不理解代码点：它们只使用ASCII。 Python 2会尝试通过自动对Unicode字符串进行ASCII编码来提供帮助，如果它们确实是ASCII字符串就可以了，但如果它们不是ASCII则不行。

所以你需要做req.write(hparser.unescape(text).encode("some-encoding"))。

python ascii代码到utf

1 个答案: