urllib3返回404找不到现有网站

时间:2017-05-23 20:12:18

标签: python-3.x web-scraping urllib urllib3

Different result by urllib and urllib3

我可以通过将地址复制到我的chrome中来打开网页,urllib也会返回页面源代码。我只是不明白为什么urllib3返回404,当其他一切正常时,在此网页上找不到404。

以下是原始代码:

url = 'http://www.webmd.com/drugs/2/condition-12862/depression%20associated%20with%20bipolar%20disorder'
import urllib3
http = urllib3.PoolManager()
r = http.request('GET',url)
r.data

import urllib.request
req = urllib.request.Request(url=url)
with urllib.request.urlopen(req) as f:
    print(f.read().decode('utf-8'))

1 个答案:

答案 0 :(得分:0)

我的猜测,你在后面调用代理,urllib使用系统代理(如果你在linux上 - http_proxy环境变量),对于urllib3,你需要使用urllib3库指定它