如何使用scrapy代理代理(2层)?我假设这里是http / https代理。
例如,我的本地计算机 - > proxy1 - > proxy2 - >我想抓取的网站。 如何在scrapy中做到这一点?
为什么我要这样做?
目标是隐藏我的IP地址。您可以认为proxy1非常可靠,但它被我想要抓取的网站阻止了。并且proxy2不可靠,但可以访问我想要抓取的网站。
我可以使用我的本地机器 - > proxy2 - >我想抓取的网站。但是因为proxy2不可靠,所以我可以将我的ip地址暴露给我想抓取的网站。所以我想在proxy2之前添加另一个图层来保护它。
答案 0 :(得分:1)
为什么?要隐藏您的IP地址,您可以使用高匿名代理。 高匿名代理会屏蔽您的IP,将其替换为自己的IP。但是,您访问的服务器可能仍然能够检测到您的真实IP。这不太可能,但是添加代码来检测底层IP地址的服务器可能会检测到您的IP。