如何隐藏网站的连续命中率(刷新)

时间:2018-06-11 23:16:23

标签: web-scraping scrapy python-requests scrapy-spider pyspider

我开发了一个Python(请求)和Java代码来废弃网站上的数据。它将通过不断刷新网站的新数据来工作 但该网站最近将我的刮刀识别为自动服务,我的帐户已被锁定。有没有办法隐藏此刷新以获取没有帐户锁定的新数据?

1 个答案:

答案 0 :(得分:0)

这取决于它是哪个网站,无论如何,刮刀模拟用户行为,这仍然会被阻止。
如果网站检测到定时任务,则解决方案可能是随机化应用程序的刷新时间 如果网站将提供验证码,您就没有简单的解决方案 如果网站只计算来自特定IP地址的访问,您可以设置动态代理服务器来模拟来自其他IP的请求