使用Selenium检索反向链接，HTTP代码和IP地址

Question

我正在使用Selenium“废弃”页面寻找我网站的反向链接。我一直在使用普通的卷曲刮，但是卷曲不适合JavaScript（实际上它们根本不玩）。

我的问题是我需要来自我抓的页面的HTTP标头响应（200,301,404,503等）代码。理想情况下，我想获取我正在抓取的域名的IP地址。

我在以下链接中使用facebook php webdriver for PHP，我找不到如何检索任何标题信息。

https://github.com/facebook/php-webdriver

我的问题是，有没有办法让Selenium返回标题信息和/或IP地址？

如果您不知道该问题的答案，那么您是否知道更好的方法来获取和获取HTTP标头？

提前致谢。

Answer 1

Selenium不会执行HTTP状态代码或标头。我从未使用它，但常用的工具是BrowserMob proxy，由Selenium提交者之一创建。它捕获请求和响应，包括标头，状态代码和时序信息。