在Python中打开和读取UTF-16文件

时间:2015-07-06 17:15:21

标签: python encoding utf-16

最近,我在使用Python打开特定的UTF-16编码文件时遇到了麻烦。我尝试过以下方法:

import codecs
f = codecs.open('filename.data', 'r', 'utf-16-be')
contents = f.read()

但是我收到以下错误:

UnicodeDecodeError: 'utf16' codec can't decode bytes in position 18-19: illegal UTF-16 surrogate
尝试读取文件内容后

。我也试过强迫小端,但这并不好。文件头如下:

0x FE FF EE FF

我读过的是UTF-16 Big Endian。我已经能够使用以下内容将文件的内容读入原始字符串:

f = open('filename.data', 'rb')
raw = f.read()
hex = binascii.hexlify(raw)

这对于获取原始十六进制是有效的,但问题是 - 有时这些文件将是小端的,有时它们将是big-endian所以我基本上只是想在开始解析之前规范化数据,我是希望编解码器可以帮助我,但没有运气..

有没有人知道这里发生了什么?我会提供文件作为参考,但有一些敏感数据,所以不幸的是我不能。该文件由Windows操作系统使用。

如上所述,我的最终目标是能够打开/读取这些文件并对它们进行规范化,以便我可以对所有这些文件使用相同的解析器,而不是必须编写一些解析器。在编码很古怪的情况下进行错误处理。

编辑:根据要求,文件的前32个字节:

FE FF EE FF 11 22 00 00 03 00 00 00 01 00 00 00 
92 EC DA 48 1B 00 00 00 63 00 3A 00 5C 00 77 00

1 个答案:

答案 0 :(得分:2)

在utf16编码的字符串开始之前,您看起来有24个二进制字节的标头。因此,您可以将文件读取为二进制文件,然后解码:

with open(filename, "rb") as data:
    header = data.read(24)
    text = data.read().decode('utf-16-le')

但可能还有其他二进制部分。如果不知道确切的文件格式,就无法获得更多帮助。