python可以编码为utf-8但无法解码

时间:2014-10-31 08:16:13

标签: python python-3.x utf-8 decode

以下代码可以将字符串编码为Utf-8:

#!/usr/bin/python
# -*- coding: utf-8 -*-

str = 'ورود'
print(str.encode('utf-8'))

打印:

b'\xd9\x88\xd8\xb1\xd9\x88\xd8\xaf'

但我不能使用此代码解码此字符串:

#!/usr/bin/python
# -*- coding: utf-8 -*-

str = b'\xd9\x88\xd8\xb1\xd9\x88\xd8\xaf'
print(str.decode('utf-8'))

错误是:

Traceback (most recent call last):
  File "C:\test.py", line 5, in <module>
    print(str.decode('utf-8'))
AttributeError: 'str' object has no attribute 'decode'

请帮助我......

修改

从答案切换到字节串:

#!/usr/bin/python
# -*- coding: utf-8 -*-

str = b'\xd9\x88\xd8\xb1\xd9\x88\xd8\xaf'
print(str.decode('utf-8'))

现在错误是:

Traceback (most recent call last):
  File "C:\test.py", line 5, in <module>
    print(str.decode('utf-8'))
  File "C:\Python34\lib\encodings\cp437.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_map)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 0-3: character maps to <undefined>

3 个答案:

答案 0 :(得分:4)

看起来你正在使用Python 3.X.您.encode() Unicode字符串(u'xxx''xxx')。您.decode()字节字符串b'xxxx'

#!/usr/bin/python
# -*- coding: utf-8 -*-

s = b'\xd9\x88\xd8\xb1\xd9\x88\xd8\xaf'
#   ^
#   Need a 'b'
#
print(s.decode('utf-8'))

注意您的终端可能无法显示Unicode字符串。我的Windows控制台没有:

Python 3.3.5 (v3.3.5:62cf4e77f785, Mar  9 2014, 10:35:05) [MSC v.1600 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> s = b'\xd9\x88\xd8\xb1\xd9\x88\xd8\xaf'
>>> #   ^
... #   Need a 'b'
... #
... print(s.decode('utf-8'))
Traceback (most recent call last):
  File "<stdin>", line 4, in <module>
  File "D:\dev\Python33x64\lib\encodings\cp437.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_map)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 0-3: character maps to <undefined>

进行解码。 '\uxxxx'表示Unicode代码点。

>>> s.decode('utf-8')
'\u0648\u0631\u0648\u062f'

我的PythonWin IDE支持UTF-8并可以显示字符:

>>> s = b'\xd9\x88\xd8\xb1\xd9\x88\xd8\xaf'
>>> print(s.decode('utf-8'))
ورود

您还可以将数据写入文件并在支持UTF-8的编辑器中显示,如记事本。因为您的原始字符串已经是UTF-8,所以只需将其作为字节直接写入文件即可。 'wb'以二进制模式打开文件,字节按原样写入:

>>> with open('out.txt','wb') as f:
...     f.write(s)

如果您有Unicode字符串,可以将其写为UTF-8,其中包含:

>>> with open('out.txt','w',encoding='utf8') as f:
...     f.write(u)  # assuming "u" is already a decoded Unicode string.

P.S。 str是内置类型。不要将它用于变量名称。

Python 2.x的工作方式不同。 'xxxx'是一个字节字符串,u'xxxx'是一个Unicode字符串,但您仍然.encode() Unicode字符串和.decode()字节字符串。

答案 1 :(得分:0)

使用以下代码:

str = b'\xd9\x88\xd8\xb1\xd9\x88\xd8\xaf'
print(str.decode('utf-8'))

答案 2 :(得分:0)

Python有一个第一类unicode类型,可以用来代替普通的bytestring str类型。一旦你接受了在a之间明确转换的需要,这很容易 bytestring和Unicode字符串:

>>> persian_enter = unicode('\xd9\x88\xd8\xb1\xd9\x88\xd8\xaf', 'utf8')
>>> print persian_enter
ورود

Python 2有两个全局函数将对象强制转换为字符串:unicode()将它们强制转换为Unicode字符串,str()将它们强制转换为非Unicode字符串。 Python 3只有一个字符串类型Unicode strings,因此str()函数就是您所需要的。 (unicode()函数不再存在。)

详细了解reading and writing unicode data