Question

我正试图抓住selenium webdriver中的标题。类似于以下内容：

>>> import requests
>>> res=requests.get('http://google.com')
>>> print res.headers

我需要使用Chrome webdriver，因为它支持flash以及测试网页所需的其他一些东西。这是我到目前为止在Selenium中所拥有的：

from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://login.comcast.net/login?r=comcast.net&s=oauth&continue=https%3A%2F%2Flogin.comcast.net%2Foauth%2Fauthorize%3Fclient_id%3Dxtv-account-selector%26redirect_uri%3Dhttps%3A%2F%2Fxtv-pil.xfinity.com%2Fxtv-authn%2Fxfinity-cb%26response_type%3Dcode%26scope%3Dopenid%2520https%3A%2F%2Flogin.comcast.net%2Fapi%2Flogin%26state%3Dhttps%3A%2F%2Ftv.xfinity.com%2Fpartner-success.html%26prompt%3Dlogin%26response%3D1&reqId=18737431-624b-44cb-adf0-2a85d91bd662&forceAuthn=1&client_id=xtv-account-selector')
driver.find_element_by_css_selector('#user').send_keys('XY@comcast.net')
driver.find_element_by_css_selector('#passwd').send_keys('XXY')
driver.find_element_by_css_selector('#passwd').submit()
print driver.headers ### How to do this?

我已经看到一些其他答案建议运行整个selenium服务器来获取此信息（https://github.com/derekargueta/selenium-profiler）。如何使用与Webdriver相似的方法获取它？

Answer 1

不幸的是，您无法从Selenium webdriver获取此信息，您似乎也无法在不久的将来获得此信息。摘自a very long conversation on the subject：

此功能不会发生。

主要原因的要点是，从我从讨论中得到的结论是，webdriver用于“驱动浏览器”，并且在开发人员看来，将API扩展到超出主要目标将导致API的整体质量和可靠性受到影响。

我在很多地方看到的一个潜在解决方法，包括上面链接的对话，是使用BrowserMob Proxy，可用于捕获HTTP内容，can be used with selenium - 尽管链接的示例不使用Python selenium API。看起来确实存在a Python wrapper for BrowserMob Proxy，但由于我从未使用它，因此我无法保证它的功效。

Answer 2

您可以尝试Mobilenium，一个绑定BrowserMob Proxy和Selenium的python包（仍在开发中）。

一个用法示例：

>>> from mobilenium import mobidriver
>>>
>>> browsermob_path = 'path/to/browsermob-proxy'
>>> mob = mobidriver.Firefox(browsermob_binary=browsermob_path)
>>> mob.get('http://python-requests.org')
301
>>> mob.response['redirectURL']
'http://docs.python-requests.org'
>>> mob.headers['Content-Type']
'application/json; charset=utf8'
>>> mob.title
'Requests: HTTP for Humans \u2014 Requests 2.13.0 documentation'
>>> mob.find_elements_by_tag_name('strong')[1].text
'Behold, the power of Requests'

Answer 3

您可以通过日志（来自based on the answers to this bug from 2013）

获取标题

from selenium import webdriver
import json
driver = webdriver.PhantomJS(executable_path=r"your_path")
har = json.loads(driver.get_log('har')[0]['message']) # get the log
print('headers: ', har['log']['entries'][0]['request']['headers'])

Answer 4

现在，我想https://pypi.org/project/selenium-wire/很简单它是硒的延伸。使用from seleniumwire import webdriver并照常进行。

Answer 5

您可以使用JAVASCRIPT内置方法。

尽管只有在创建驱动程序后才能完成。

from selenium import webdriver
driver = webdriver.Chrome()
# Store it in a variable and print the value
agent = driver.execute_script("return navigator.userAgent")
print(agent)
# directly print the value
print(driver.execute_script("return navigator.userAgent"))

如何在python selenium-webdriver中抓取头文件

5 个答案: