我正在使用Selenium for Python编写一个Web scraper。刮刀每小时多次访问相同的站点,因此我希望找到一种方法来每隔几次搜索就改变我的IP。这是什么最好的策略(我使用的是Firefox)?是否有任何预先编写的代码/我可以切换的IP地址的csv?我完全不熟悉IP,代理等等。所以请放轻松我!
答案 0 :(得分:1)
尝试使用代理。 有免费选项(不太可靠)或付费服务。
materials.cpp
答案 1 :(得分:0)
您的ISP会为您分配您的IP地址。如果您注册hidemyass.com之类的东西,他们可能会为您提供更改代理的应用程序,但我不知道他们是如何做到这一点的。
但是,如果他们有一个应用程序循环你通过各种代理,那么你的所有互联网流量将通过该代理 - 包括你的刮刀。刮刀无需了解这些代理或隐藏我的屁股的工作方式 - 它可以像您的浏览器或FTP客户端一样通过代理进行连接,或者....