make python默认用字符串替换不可编码的字符

Question

我想通过简单地用字符串"<could not encode>"替换它们来使python忽略字符无法编码。

例如，假设默认编码是ascii，命令

'%s is the word'%'ébác'

会产生

'<could not encode>b<could not encode>c is the word'

在我的所有项目中，有没有办法让它成为默认行为？

Answer 1

str.encode函数采用定义错误处理的可选参数：

str.encode([encoding[, errors]])

来自文档：

  

返回字符串的编码版本。默认编码是当前的默认字符串编码。可以给出错误以设置不同的错误处理方案。错误的默认值是'strict'，这意味着编码错误会引发UnicodeError。其他可能的值是'ignore'，'replace'，'xmlcharrefreplace'，'backslashreplace'以及通过codecs.register_error（）注册的任何其他名称，请参阅Codec Base Classes部分。有关可能的编码列表，请参阅标准编码部分。

在您的情况下，codecs.register_error功能可能会引起您的兴趣。

[注意坏字符]

顺便说一句，请注意，在使用register_error时，您可能会发现自己不仅会替换单个坏字符，而是使用字符串替换连续坏字符组，除非您注意。每次运行坏字符都会调用错误处理程序，而不是每个字符。

Answer 2

>>> help("".encode)
Help on built-in function encode:

encode(...)
S.encode([encoding[,errors]]) -> object

Encodes S using the codec registered for encoding. encoding defaults
to the default encoding. errors may be given to set a different error
handling scheme. Default is 'strict' meaning that encoding errors raise
a UnicodeEncodeError. **Other possible values are** 'ignore', **'replace'** and
'xmlcharrefreplace' as well as any other name registered with
codecs.register_error that is able to handle UnicodeEncodeErrors.

所以，例如：

>>> x
'\xc3\xa9b\xc3\xa1c is the word'
>>> x.decode("ascii")
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 0: ordinal not in range(128)
>>> x.decode("ascii", "replace")
u'\ufffd\ufffdb\ufffd\ufffdc is the word'

将自己的回调添加到codecs.register_error以替换为您选择的字符串。