仅通过Python通过Distil网络从网站阻止

时间:2019-06-27 13:54:29

标签: python selenium-webdriver web-scraping scrapy

我一直在基于谷歌云的Windows服务器上使用基于硒的Webscraper,该服务器已经工作了4天,现在突然要求我完成验证码。

我已经手动完成了Capatcha(通过在浏览器上启用无头模式),然后继续执行我的脚本。片刻之后,我得到以下信息:

enter image description here

我有以下原因:

  1. 更改了Google虚拟机上的IP地址。
  2. 订阅了HideMyAss VPN,并要求其旋转IP地址
  3. 更改了用户代理
  4. 使用scrapy而不是硒来查询同一网站。在此阶段,我会得到相同的错误页面,但是鉴于该网站是使用Java渲染的,由于不确定Scrapy是否可以处理它,我可能不得不返回到硒。

但是,通过Python触发时,我仍然保持相同的错误页面。

当我使用普通浏览器加载页面时,似乎加载正常。

从这里可以做什么使我的刮板再次工作的任何想法?

0 个答案:

没有答案