我正在抓取我的IP被列入黑名单的网站。我只能通过代理路由(我使用HidemyIP chrome扩展名)
访问网站我需要抓住网站来挖掘一些数据。我使用Python(requests
,Beautifulsoup
)来提取数据。
我尝试使用开放代理,但它似乎不起作用。这是我正在使用的命令:
http_proxy = "http://10.10.1.10:3128"
https_proxy = "https://10.10.1.11:1080"
proxy = {
"http" : http_proxy,
"https" : https_proxy
}
page = requests.get(url, headers=headers, timeout=10, proxies=proxy)
我想知道除了上述内容之外,如果还有其他方法,我们可以在Windows(或路由器)中配置路由虚拟代理以避免被列入黑名单?