Question

我正在收到产品信息的xml Feed。信息为英文，但未编入utf-8（智能引号，版权符号等）。要处理信息，我需要将其转换为utf-8。

我尝试过做变种：

u'%s' % data
codecs.open(..., 'utf-8')
unicode(data)

但是对于我试过的每一个人，我得到了UnicodeDecodeError（各种各样的）。

如何将所有这些文字转换为utf-8？

更新

感谢您的帮助，以下是最终的工作：

encoded_data = data.decode('ISO 8859-1').encode('utf-8').replace('Â','')

我不确定Â来自哪里，但我看到了一些版权符号旁边的那些。

Answer 1

为了将其转换为UTF-8，您需要知道它的编码方式。根据您的描述，我猜测它是在Latin-1中的一个。变体，ISO 8859-1或Windows-1252。如果是这种情况，那么您可以将其转换为UTF-8，如下所示：

data = 'Copyright \xA9 2012'  # \xA9 is the copyright symbol in Windows-1252

# Convert from Windows-1252 to UTF-8
encoded = data.decode('Windows-1252').encode('utf-8')

# Prints "Copyright © 2012"
print encoded

Answer 2

您可以代表您进行chardet猜测，而不是猜测编码：

import chardet

def read(filename, encoding=None, min_confidence=0.5):
    """Return the contents of 'filename' as unicode, or some encoding."""
    with open(filename, "rb") as f:
        text = f.read()
    guess = chardet.detect(text)
    if guess["confidence"] < min_confidence:
        raise UnicodeDecodeError
    text = unicode(text, guess["encoding"])
    if encoding is not None:
        text = text.encode(encoding)
    return text

将大量文本转换为utf-8

2 个答案: