为什么我的Python程序没有到达预期的网站?

时间:2017-09-12 20:47:36

标签: python-3.x web-scraping beautifulsoup urllib

我正在尝试在Python 3中创建一个Web scraper。我一直在收到WinError 10060,说明连接失败,因为连接方没有正确响应或连接的主机无法响应。同时使用urllib和尝试使用请求库都会产生10060错误。使用请求时,错误表明它们已超出URL的最大重试次数。

import urllib.request

with urllib.request.urlopen('http://python.org') as response: 
    html = response.read()

人们已经提到它可能是代理或防火墙问题,因为我试图在我的工作网络上执行此操作。

1 个答案:

答案 0 :(得分:0)

原来这是代理身份验证错误。只需在get命令中使用您的凭据添加代理即可解决此问题。

proxies = {'http': 'http://user:pass@url:8080', 'https': 'http://user:pass@url:8080'}
page = requests.get(webpage, proxies)