我目前正在利用python / webscraping收集来自运输网站的信息的项目。我是网络爬虫的新手,并且正在学习教程。不幸的是,我似乎无法使用我的工作网络进行爬网,出现以下错误。
TimeoutError:[WinError 10060]连接尝试失败,因为 关联方在一段时间后未正确响应,或者 建立的连接失败,因为连接的主机无法执行 回应
但是,当我断开工作网络连接并连接到手机热点时,我的程序运行正常。
此问题是由我们正在使用的代理引起的,我也不是很熟悉代理。有什么方法可以绕过代理问题?我什至不知道我在工作什么代理人?下面是我的示例代码。
from bs4 import BeautifulSoup
import urllib.request as ur
url = ur.urlopen("https://www.pythonforbeginners.com")
content = url.read()
soup = BeautifulSoup(content, 'html.parser')
print (soup.prettify())
print (title)
print (soup.title.string)
print (soup.p)
print (soup.a)