cURL返回响应但在尝试使用selenium firefox webdriver访问时无法获得相同的响应

Question

我正在尝试使用Selenium从Linux服务器的网站中提取一些数据。

当通过cURL ping到URL时，我们可以看到来自服务器的响应，但是当通过Selenium Firefox webdriver请求相同的URL时，我们几个小时都没有收到任何响应。

例如： - 我们试图达到的一个链接如下：

http://www.vudu.com/movies/#!content/776990

你能指出一个可能的问题吗？

网站以这种方式做出反应是否常见？

可能有什么方法可以解决这个问题？

提前感谢您的帮助。

注： - 我们尝试ping的网站已在服务器中列入白名单。

Answer 1

服务器可能会根据您的用户代理字符串做出不同的响应。许多扩展程序允许您设置此项，包括“Chrome的用户代理切换器”。

您也可以尝试使用Selenium chromedriver并查看浏览器中的请求。您可以使用开发人员工具的“网络”选项卡找到它：