如何获得任意编码的所有字符?

时间:2018-09-13 10:06:06

标签: python python-3.x unicode character-encoding

如果我想知道哪些字母是ascii字符集的一部分,我可以简单地询问python,这很不错:

>>> import string
>>> string.ascii_letters
'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ'

我搜索了一段时间,但找不到返回任意编码字符集的通用函数。像这样:

>>> import string
>>> string.get_charset('latin1')  # doesn't exist =(
'abc ... äöü ...'

还是我只是想念它?一个检查字符串是否仅包含某种编码字符的函数也可以使用,但是我希望将所有有效字符作为一个列表来实现直观性。

1 个答案:

答案 0 :(得分:4)

据我所知,标准库中不存在此类功能。

缺少一个更好的主意,这是一个丑陋的骇客,它试图使用指定的编码对utf8范围内的每个字符进行编码,并删除那些无法编码的字符:

def get_charset(encoding):
    all_chars = ''.join(chr(x) for x in range(0x110000))
    return all_chars.encode(encoding, errors='ignore').decode(encoding)

输出:

>>> get_charset('latin-1')
'\x00\x01\x02\x03\x04\x05\x06\x07\x08\t\n\x0b\x0c\r\x0e\x0f\x10\x11\x12\x13\x14\x15\x16\x17\x18\x19\x1a\x1b\x1c\x1d\x1e\x1f !"#$%&\'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz{|}~\x7f\x80\x81\x82\x83\x84\x85\x86\x87\x88\x89\x8a\x8b\x8c\x8d\x8e\x8f\x90\x91\x92\x93\x94\x95\x96\x97\x98\x99\x9a\x9b\x9c\x9d\x9e\x9f\xa0¡¢£¤¥¦§¨©ª«¬\xad®¯°±²³´µ¶·¸¹º»¼½¾¿ÀÁÂÃÄÅÆÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖ×ØÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóôõö÷øùúûüýþÿ'

速度测试:

In [2]: %timeit get_charset('latin1')
306 ms ± 8.34 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)