我正在尝试使用Python + Selenium + BS4抓取动态内容(javascript)页面,页面会随机阻止我的请求(软件可能是:F5 AMS)。
我设法通过更改我指定的每个浏览器的用户代理来绕过这个东西。问题是,只有Chrome驱动程序可以通过拒绝。为PhantomJS或Firefox驱动程序调整的相同代码被阻止持续,就像我甚至没有更改用户代理一样。
我必须说我也是多线程的,这意味着,同时启动4个浏览器。
为什么会这样? Chrome Webdriver提供哪些功能可以通过防火墙,其余部分不通过?
我真的需要得到结果,因为我想要更改为Firefox,因此,我想让Firefox像Chrome一样通过。
答案 0 :(得分:1)
两个词:浏览器指纹识别。它本身就是一个巨大的话题,正如塔伦提到的那样,需要进行大量的研究来解决这个问题。但我相信可能。