Question

尝试通过可读性解析网页时，我得到s（Windows 10上为Python 2.7，Sublime Text 2 / cmd）

>>> import requests
>>> from readability import Document
>>>
>>> response = requests.get('http://www.gamersky.com/news/201806/1064930.shtml')
>>> doc = Document(response.text.encode("utf-8"))
>>> print doc.title()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'gbk' codec can't encode character u'\xe3' in position 0: illegal multibyte sequence
>>> print doc.title().encode("utf-8")
lots of messy codes
>>> print doc.title().encode("utf-16")
lots of messy codes
>>> print doc.title().encode("gbk")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'gbk' codec can't encode character u'\xe3' in position 0: illegal multibyte sequence

我发现我永远无法打印出doc.title()，因此我通过运行来调查doc.title()

s = repr(doc.title())
print type(doc.title())
print s

结果很奇怪

<type 'unicode'>
u'\xe3\x80\x8a\xe5\xa5\x87\xe5\xbc\x82\xe4\xba\xba\xe7\x94\x9f\xe3\x80\x8b\xe5\x9b\xa2\xe9\x98\x9f\xe6\x96\xb0\xe4\xbd\x9c\xe3\x80\x8a\xe8\xb6 \xe8\x83\xbd\xe9\x98\x9f\xe9\x95\xbf\xe3\x80\x8b\xe5 \x8d\xe8\xb4\xb9\xe4\xb8\x8b\xe8\xbd\xbd \xe5\xb0\x8f\xe7\x94\xb7\xe5\xad\xa9\xe7\x9a\x84\xe8\x8b\xb1\xe9\x9b\x84\xe6\xa2\xa6\xe6\x83\xb3 _ \xe6\xb8\xb8\xe6\xb0\x91\xe6\x98\x9f\xe7\xa9\xba GamerSky.com'

似乎s实际上是用多字节编码的，因为当我运行时

 print '\xe3\x80...'

它会打印

《奇异人生》团队新作《? 能队长》? ?费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com

准确的标题是

《奇异人生》团队新作《超能队长》免费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com

尽管仍然缺少一些字符，但是结果使我确信\xe3不应以unicode形式表示。经过一番搜索，我发现以下代码会有所帮助，但是仍然缺少一些字符。

>>> print s.encode("raw_unicode_escape")
《奇异人生》团队新作《? 能队长》? ?费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com

我的问题是：

为什么可能会出现此问题？ encode("raw_unicode_escape")解决方案是否整洁？当我运行以下代码时，它可以正常工作

>>> import requests
>>> from readability import Document
>>>
>>> response = requests.get('https://zh.wikipedia.org/wiki/Wikipedia:%E9%A6%96%E9%A1%B5')
>>> doc = Document(response.text.encode("utf-8"))
>>> print doc.title()
维基百科，自由的百科全书

如何处理丢失的字符？

Answer 1

尝试使用response.content

例如：

>>> import requests
>>> from readability import Document
>>>
>>> response = requests.get('http://www.gamersky.com/news/201806/1064930.shtml')
>>> doc = Document(response.content)
>>> print doc.title()

Answer 2

问题在于，当您使用response.text时，它会猜测将response.content解码为Unicode时的编码方式。在这种情况下，其猜测是不正确的。您必须通过按documentation将response.encoding设置为'utf-8'来强制编码。

import requests
from readability import Document
response = requests.get('http://www.gamersky.com/news/201806/1064930.shtml')
response.encoding = 'utf-8'
doc = Document(response.text)
print doc.title()

这将打印：

《奇异人生》团队新作《超能队长》免费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com

如何解码以unicode表示的字符串？

2 个答案: