我正在尝试构建一个硒刮板,每隔n个请求就旋转其IP地址,为此,我需要访问免费的代理网站以构建IP:端口地址列表,问题是我正在执行我的代码来自禁止代理网站的国家/地区,因此该代码无法访问代理网站,并向我返回此错误: 引发URLError(err)urllib.error.URLError:urlopen错误[Errno 104]对等重置连接
这是我尝试访问https://www.sslproxies.org/网站的代码的一部分:
ua = UserAgent() # From here we generate a random user agent
proxies = [] # Will contain proxies [ip, port]
proxies_req = Request('https://www.sslproxies.org/')
proxies_req.add_header('User-Agent', ua.random)
proxies_doc = urlopen(proxies_req).read().decode('utf8')
soup = BeautifulSoup(proxies_doc, 'html.parser')
proxies_table = soup.find(id='proxylisttable')
错误发生在第五行:
proxies_doc = urlopen(proxies_req).read().decode('utf8')
有什么建议吗?