使用硒的Google搜索导致可疑的网络流量，并显示reCaptcha

Question

我必须自动化一个涉及大量Google搜索的任务，这是我通过Selenium和python完成的。经过20次搜索，谷歌说检测到可疑活动，并给出reCaptcha以证明我不是机器人。
我尝试了其他方法（例如更改个人资料），但仍然存在相同的问题。

如何摆脱它？

Answer 1

网站可以轻松检测您的网络流量，并将其标识为 BOT 。 Google 已经发布了 5（五） reCAPTCHA，供您在创建新网站时选择。其中四个处于活动状态，而 reCAPTCHA v1 正在关闭。

reCAPTCHA版本和类型

• reCAPTCHA v3 （使用分数验证请求）：reCAPTCHA v3允许您在没有任何用户交互的情况下验证交互是否合法。它是一个纯JavaScript API，可返回分数，使您能够在网站的上下文中采取措施：例如，需要其他身份验证因素，发送帖子以进行审核或限制可能抓取内容的机器人。
• reCAPTCHA v2-“我不是机器人”复选框：“我不是机器人”复选框要求用户单击一个复选框，指示该用户不是机器人。这将立即使用户（没有CAPTCHA）通过，或者要求他们验证他们是否是人类。这是最简单的选项，只需两行HTML即可呈现该复选框。

• reCAPTCHA v2-不可见的reCAPTCHA徽章：不可见的reCAPTCHA徽章不需要用户单击复选框，而是在用户单击站点上的现有按钮或可以直接调用时调用通过JavaScript API调用进行调用。 reCAPTCHA验证完成后，集成需要JavaScript回调。默认情况下，将仅提示最可疑的流量来解决验证码。要更改此行为，请在高级设置下编辑您的站点安全首选项。

• reCAPTCHA v2-Android ：reCAPTCHA Android库是Google Play服务SafetyNet API的一部分。该库提供了本机Android API，您可以将它们直接集成到应用程序中。您应该在应用程序中设置Google Play服务并连接到GoogleApiClient，然后再调用reCAPTCHA API。这将立即使用户通过（没有CAPTCHA提示），或者要求用户验证他们是否是人类。
• reCAPTCHA v1 ：reCAPTCHA v1自2018年3月以来已关闭。

---

解决方案

但是，有一些通用方法可以避免在抓取网页时被检测到

• 网站可以通过您的监视器大小来确定您的脚本/程序的首要属性。因此，建议不使用常规的Viewport。
• 如果您需要向网站发送多个请求，请继续对每个请求更改用户代理。在这里您可以找到有关Way to change Google Chrome user agent in Selenium?
的详细讨论
• 要模拟类似人的行为，您可能需要减慢脚本执行的速度，甚至超出WebDriverWait和expected_conditions引起time.sleep(secs)的程度。在这里您可以找到有关How to sleep webdriver in python for milliseconds
的详细讨论

Outro

请参阅：

• Unable to use Selenium to automate Chase site login
• Selenium webdriver: Modifying navigator.webdriver flag to prevent selenium detection

Answer 2

我通过使用内部负载平衡器旋转适当的代理池，切换用户代理并在适当的地方使用验证码解决方案API来解决了这一问题。迄今为止，拥有大量干净的IP地址并明智地使用它们具有最大的影响。