从python文件中读取错误的UTF数据列表,并将其与一行进行比较

时间:2018-06-27 11:25:35

标签: python python-2.6

让我有这个字符序列

>>> '\xed\xba\xbd'
'íº½'

我的conf_file包含这些字符串的列表,如果它们出现在一行中并且必须排除,则必须进行比较。

$cat excl_char_seq.lst
\xed\xba\xbd
\xed\xa9\x81
\xed\xba\x91

这是我的代码,用于比较一行是否包含这些序列中的任何一个。

v_conf_file = 'excl_char_seq.lst'   
with open(v_conf_file) as f:
     seqlist = f.read().splitlines()
line = 'weríº½66'
print ([ 1 for seqs in seqlist if seqs in line ])

但是上面代码中的打印列表为

当我打印seqlist时,我得到以下输出,该输出似乎用“ \”转义了序列。

['\\xed\\xba\\xbd', '\\xed\\xa9\\x81', '\\xed\\xba\\x91' ]

我应该如何更正代码以使其与文件内容匹配?

1 个答案:

答案 0 :(得分:1)

问题是您从文件中读取的行实际上包含12个字符:\xed\xba\xbd,您想将其转换为3字符'\xed','\xba'和'\xbd'。正则表达式可以帮助您识别以\x开头的转义字符:

def unescape(string):
    rx = re.compile(r'(\\x((?:[0-9a-fA-F]){2}))')
    while True:
        m = rx.search(string)
        if m is None: return string
        string = string.replace(m.group(1), chr(int(m.group(2), 16)))

您可以使用它来预处理从文件中提取的行(不要忘记导入re模块):

v_conf_file = 'excl_char_seq.lst'   
with open(v_conf_file) as f:
     seqlist = [ unescape(line.strip()) for line in fd ]
line = 'weríº½66'
print ([ 1 for seqs in seqlist if seqs in line ])

当我控制seqlist的内容时,我得到了预期的结果:

>>> print seqlist
['\xed\xba\xbd', '\xed\xa9\x81', '\xed\xba\x91']