Question

我不确定如何真正地提出这个问题，而且我找不到答案，所以我希望有人可以帮助我。

我正在编写一个连接到远程主机的Python应用程序并接收返回的字节数据，我使用Python的内置结构模块解压缩。我的问题在于字符串，因为它们包含多个字符编码。以下是此类字符串的示例：

“^ LT这是一个带有多个^ Jcharacter编码的示例^ Gstring”

使用特殊的转义字符标记不同的编码开始和结束：

^ L - Latin1
^ E - 中欧
^ T - 土耳其语
^ B - Baltic
^ J - 日语
^ C - Cyrillic
^ G - 希腊语

依此类推......我需要一种方法将这种字符串转换为Unicode，但我真的不知道该怎么做。我已经阅读了Python的编解码器和string.encode / decode，但我真的不是更聪明。我还应该提一下，我无法控制主机输出字符串的方式。

我希望有人可以帮我解决这个问题。

Answer 1

这是一个相对简单的例子，它是如何实现的......

# -*- coding: utf-8 -*-
import re

# Test Data
ENCODING_RAW_DATA = (
    ('latin_1',    'L', u'Hello'),        # Latin 1
    ('iso8859_2',  'E', u'dobrý večer'),  # Central Europe
    ('iso8859_9',  'T', u'İyi akşamlar'), # Turkish
    ('iso8859_13', 'B', u'Į sveikatą!'),  # Baltic
    ('shift_jis',  'J', u'今日は'),        # Japanese
    ('iso8859_5',  'C', u'Здравствуйте'), # Cyrillic
    ('iso8859_7',  'G', u'Γειά σου'),   # Greek
)

CODE_TO_ENCODING = dict([(chr(ord(code)-64), encoding) for encoding, code, text in ENCODING_RAW_DATA])
EXPECTED_RESULT = u''.join([line[2] for line in ENCODING_RAW_DATA])
ENCODED_DATA = ''.join([chr(ord(code)-64) + text.encode(encoding) for encoding, code, text in ENCODING_RAW_DATA])

FIND_RE = re.compile('[\x00-\x1A][^\x00-\x1A]*')

def decode_single(bytes):
    return bytes[1:].decode(CODE_TO_ENCODING[bytes[0]])

result = u''.join([decode_single(bytes) for bytes in FIND_RE.findall(ENCODED_DATA)])

assert result==EXPECTED_RESULT, u"Expected %s, but got %s" % (EXPECTED_RESULT, result)

Answer 2

没有像这样解码字符串的内置功能，因为它实际上是它自己的自定义编解码器。您只需要在这些控制字符上拆分字符串并进行相应的解码。

这是一个处理latin1和shift-JIS的函数的一个（非常慢）的例子：

latin1 = "latin-1"
japanese = "Shift-JIS"

control_l = "\x0c"
control_j = "\n"

encodingMap = {
    control_l: latin1,
    control_j: japanese}

def funkyDecode(s, initialCodec=latin1):
    output = u""
    accum = ""
    currentCodec = initialCodec
    for ch in s:
        if ch in encodingMap:
            output += accum.decode(currentCodec)
            currentCodec = encodingMap[ch]
            accum = ""
        else:
            accum += ch
    output += accum.decode(currentCodec)
    return output

更快的版本可能使用str.split或正则表达式。

（另外，正如您在本例中所见，“^ J”是“换行符”的控制字符，因此您的输入数据会有一些有趣的限制。）

Answer 3

我会编写一个编解码器，逐步扫描字符串并在字节出现时解码字节。实质上，您必须使用一致的编码将字符串分成块并对其进行解码并将它们附加到跟随它们的字符串。

Answer 4

您必须首先将字符串拆分为具有不同编码的子字符串，然后分别对每个字符串进行解码。只是为了好玩，强制性的“单行”版本：

import re

encs = {
    'L': 'latin1',
    'G': 'iso8859-7',
    ...
}

decoded = ''.join(substr[2:].decode(encs[substr[1]])
             for substr in re.findall('\^[%s][^^]*' % ''.join(encs.keys()), st))

（没有错误检查，你也想决定如何处理子串中的'^'字符）

Answer 5

我不认为您有任何方法可以说服托管其他机器的人切换到unicode吗？

这毕竟是发明Unicode的原因之一。

处理包含多个字符编码的字符串

5 个答案: