urllib2.urlopen正在提升UnicodeEncodeError

时间:2017-04-28 19:37:40

标签: python-2.7 web-crawler urllib2

刮刀的这部分适用于某些网址,但是当涉及到来自巴西的网站时,它会引发异常错误 UnicodeEncodeError

hdr = {'User-Agent':'Mozilla/5.0'}
req = urllib2.Request(webpage,headers=hdr)
print type(req) # Instance
fetched_url = urllib2.urlopen(req, timeout = 5)

req 的类型是“实例”,我应该编码它,例如utf-8,以及如何操作?

谢谢,

1 个答案:

答案 0 :(得分:0)

网址可以包含Unicode字符。 有关处理这些功能的一些实用程序功能,请参阅this page from the docs。百分比编码可能是最安全的方式,但不是那么容易处理。

修改 大笑这实际上很有趣。最直接和最有效的方法是使用requests包。它甚至与官方python文档相关联。