我开发了一个Python(请求)和Java代码来废弃网站上的数据。它将通过不断刷新网站的新数据来工作 但该网站最近将我的刮刀识别为自动服务,我的帐户已被锁定。有没有办法隐藏此刷新以获取没有帐户锁定的新数据?
答案 0 :(得分:0)
这取决于它是哪个网站,无论如何,刮刀模拟用户行为,这仍然会被阻止。
如果网站检测到定时任务,则解决方案可能是随机化应用程序的刷新时间
如果网站将提供验证码,您就没有简单的解决方案
如果网站只计算来自特定IP地址的访问,您可以设置动态代理服务器来模拟来自其他IP的请求