如何避免在使用Selenium WebDriver自动化的网站上被阻止？

Question

我自动化网页以检查该网页上是否有损坏的链接。我的代码点击每个＆＃; href＆＃39;在网页上查看其响应代码。在这个过程中，我会在很短的时间内点击页面上的所有href，结果，内部链接返回403（禁止）状态代码（所以我认为该网站已阻止我成为一个机器人或垃圾邮件！:(）

任何可以避免被阻止的工作？

到目前为止我尝试过的（没有运气）：

• 在链接被点击之前执行Thread.sleep（）。
• 使用其他用户代理访问网站（firefox profiling）。

感谢。

Answer 1

请你试试下面的内容并更新我们。

    driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS); **// here I gave it
                                  10 seconds, please change it as per your requirement**

干杯！