Chrome驱动程序如何工作,但Firefox,PhantomJS和HTMLUnit不是?

时间:2017-09-02 08:02:32

标签: python selenium web-scraping selenium-chromedriver geckodriver

我正在尝试使用Python + Selenium + BS4抓取动态内容(javascript)页面,页面会随机阻止我的请求(软件可能是:F5 AMS)。

我设法通过更改我指定的每个浏览器的用户代理来绕过这个东西。问题是,只有Chrome驱动程序可以通过拒绝。为PhantomJS或Firefox驱动程序调整的相同代码被阻止持续,就像我甚至没有更改用户代理一样。

我必须说我也是多线程的,这意味着,同时启动4个浏览器。

为什么会这样? Chrome Webdriver提供哪些功能可以通过防火墙,其余部分不通过?

我真的需要得到结果,因为我想要更改为Firefox,因此,我想让Firefox像Chrome一样通过。

1 个答案:

答案 0 :(得分:1)

两个词:浏览器指纹识别。它本身就是一个巨大的话题,正如塔伦提到的那样,需要进行大量的研究来解决这个问题。但我相信可能。