编码字符串python的解码

时间:2012-03-25 00:43:30

标签: python character-encoding decode encode

我有一个html页面列表,其中可能包含某些编码字符。一些例子如下 -

<a href="mailto:lad%20at%20maestro%20dot%20com">
<em>ada&#x40;graphics.maestro.com</em>
<em>mel&#x40;graphics.maestro.com</em>

我想将这些字符串解码(转义,我不确定当前的术语) -

 <a href="mailto:lad at maestro dot com">
<em>ada@graphics.maestro.com</em>
<em>mel@graphics.maestro.com</em>

注意,HTML页面采用字符串格式。另外,我不想使用像BeautifulSoup或lxml这样的外部库,只有原生的python库是可以的。

修改 -

以下解决方案并不完美。使用urllib2取消HTML解析器会抛出

UnicodeDecodeError: 'ascii' codec can't decode byte 0x94 in position 31: ordinal not in range(128)
在某些情况下

错误。

1 个答案:

答案 0 :(得分:7)

您需要unescape HTML实体和URL-unquote 标准库有HTMLParserurllib2来帮助完成这些任务。

import HTMLParser, urllib2

markup = '''<a href="mailto:lad%20at%20maestro%20dot%20com">
<em>ada&#x40;graphics.maestro.com</em>
<em>mel&#x40;graphics.maestro.com</em>'''

result = HTMLParser.HTMLParser().unescape(urllib2.unquote(markup))
for line in result.split("\n"): 
    print(line)

结果:

<a href="mailto:lad at maestro dot com">
<em>ada@graphics.maestro.com</em>
<em>mel@graphics.maestro.com</em>

编辑:
如果您的页面可以包含非ASCII字符,则需要注意输入解码和输出编码。
您上传的示例文件的字符集设置为cp-1252,因此我们尝试将其解码为Unicode:

import codecs 
with codecs.open(filename, encoding="cp1252") as fin:
    decoded = fin.read()
result = HTMLParser.HTMLParser().unescape(urllib2.unquote(decoded))
with codecs.open('/output/file.html', 'w', encoding='cp1252') as fou:
    fou.write(result)

EDIT2:
如果您不关心非ASCII字符,可以简化一下:

with open(filename) as fin:
    decoded = fin.read().decode('ascii','ignore')
...