如何在python中进行网页抓取时隐藏我的IP？

Question

我在某些页面中使用python进行网页抓取，但我被其中一些阻止。当我尝试通过TOR浏览器也对其进行检查时，我发现我也无法访问这些页面，因此我认为这些页面已经能够跟踪我的所有IP，或者我没有配置良好的TOR（我认为没有原因是我已经使用Chrome和TOR检查了我的IP地址，并且有所不同），所以，有人知道为什么吗？

此外，我正在尝试在python代码中执行一个函数或方法来自动更改mi IP。我所看到的是最好的方法是通过TOR浏览器（将其用作搜索引擎以从页面获取数据）来执行此操作，但是我无法使其正常工作。您对创建此功能有任何建议吗？

谢谢！

Answer 1

我希望防刮擦功能也能阻止来自已知Tor出口节点的访问。我不认为他们知道是你。一些网站租用/实施最先进的刮擦保护服务。

您可以在亲朋好友处设置自己的代理，并使用非常保守的爬网率，或者搜索商业住宅代理产品。