给出一个shift-jis字符代码获取utf-8字符代码?

时间:2012-02-24 18:08:13

标签: python encoding utf-8 shift-jis

在我的程序中,我将shift-jis字符代码作为Python整数,我需要转换为相应的utf8字符代码(也应该是整数)。 我怎样才能做到这一点? 对于ASCII,您可以使用有用的函数ord()/ chr(),它允许您将整数转换为ASCII字符串,以后可以轻松转换为unicode。对于其他编码,我找不到类似的东西。

使用Python 2。

编辑:最终代码。谢谢大家:

def shift_jis2unicode(charcode): # charcode is an integer
    if charcode <= 0xFF:
        string = chr(charcode)
    else:
        string = chr(charcode >> 8) + chr(charcode & 0xFF)

    return ord(string.decode('shift-jis'))

print shift_jis2unicode(8140)

3 个答案:

答案 0 :(得分:2)

没有“utf8字符代码(也应该是整数)”。

Unicode定义“代码点”,它们是整数。 UTF-8定义了如何将这些代码点转换为字节数组。

所以我认为你想要Unicode代码点。在那种情况下:

def shift_jis2unicode(charcode): # charcode is an integer
    if charcode <= 0xFF:
        shift_jis_string = chr(charcode)
    else:
        shift_jis_string = chr(charcode >> 8) + chr(charcode & 0xFF)

    unicode_string = shift_jis_string.decode('shift-jis')

    assert len(unicode_string) == 1
    return ord(unicode_string)

print "U+%04X" % shift_jis2unicode(0x8144)
print "U+%04X" % shift_jis2unicode(0x51)

(另外:我认为8100不是有效的shift-JIS字符代码......)

答案 1 :(得分:1)

可能有更好的方法可以做到这一点,但由于此处没有其他答案,这是一个选项。

您可以使用this table将shift-jis整数转换为unicode代码点,然后使用unichr()将数据转换为Python unicode对象,然后使用{将其从unicode转换为utf8 {3}}

答案 2 :(得分:0)

def from_shift_jis(seq):
    chars = [chr(c) if c <= 0xff else chr(c>>8) + chr(c&0xff) for c in seq]
    return ''.join(chars).decode('shift-jis')

utf8_output = [ord(c) for c in from_shift_jis(shift_jis_input).encode('utf-8')]