如何使python硒无法检测

时间:2020-07-28 16:07:30

标签: python selenium bots detection

我使用selenium在python中为nike.com网站制作了一个运动鞋机器人,我想知道是否

有什么方法可以使耐克公司无法检测到硒(因此他们不会注意到这是一个自动化软件,而不是背后的人类)/至高无上,还是其他任何网站?我听说过使用请求模式作为替代方法,

我看过一篇关于如何使硒无法被检测到的文章,但是大多数都是针对Java的,而且方法非常复杂。

如果没有隐藏我正在使用硒网络驱动程序(Chrome)的解决方案,那么在此类网站上最容易被发现的最简单方法是什么?

编辑:我想提一提,我在python中了解的所有内容都在使用硒和网络抓取,从我收到的答案中我不太了解。我的问题很难解决,需要了解很多信息吗?或者,了解这些内容需要花费多长时间?我期待一个答案,说要在我的代码中添加一些行,以便在openig chrome驱动程序时站点不会立即检测到我的机器人,但似乎还不止于此。我什至不知道我应该在哪里修改什么,我想如果您可以将我重定向到一个从0开始解决此问题的链接。

1 个答案:

答案 0 :(得分:0)

未经许可就刮擦商业网站可能会给您带来法律麻烦。但是,如果要从nike.com刮擦数据,请引入睡眠并等待两次请求,以模仿网站上的人类行为。

2。网站还可以使用监视器大小检测自动抓取网站的方式。因此,我建议将视口更改为与默认大小不同的大小。

  1. 最好使用chrome开发人员工具或邮递员拦截器找到nike.com中使用的API,而不是使用python和selenium,然后一击即可获得数据(大多数情况下,使用硒会因易碎而失效)PS我与Robotframework.org没有关系,我只是喜欢他们构建机器人框架的方式

  2. 如果您仍然希望将硒与python一起使用,请快速构建业务流程以抓取数据并轻松维护,我建议您使用Robot Framework(附带硒使用的内置关键字)