一旦您的IP被列入黑名单,如何抓取网站

时间:2018-03-30 05:34:18

标签: python proxy request

我正在抓取我的IP被列入黑名单的网站。我只能通过代理路由(我使用HidemyIP chrome扩展名)

访问网站

我需要抓住网站来挖掘一些数据。我使用Python(requestsBeautifulsoup)来提取数据。

我尝试使用开放代理,但它似乎不起作用。这是我正在使用的命令:

http_proxy  = "http://10.10.1.10:3128"
https_proxy = "https://10.10.1.11:1080"

proxy = { 
              "http"  : http_proxy, 
              "https" : https_proxy
            }
page = requests.get(url, headers=headers, timeout=10, proxies=proxy)

我想知道除了上述内容之外,如果还有其他方法,我们可以在Windows(或路由器)中配置路由虚拟代理以避免被列入黑名单?

0 个答案:

没有答案