Python抓取标头请求

时间:2016-12-06 10:30:11

标签: python selenium get http-headers

这是从网站获取所有标头请求的任何方式,它加载在浏览器网络工具(可能是selemium)?

我需要这个网址 Android Studio quick documentation always "fetching documentation"

1 个答案:

答案 0 :(得分:0)

尝试此代码,如有任何问题,请告知我们:

links = []
for element in driver.find_elements_by_xpath('//head/*[@href or @src]):
    link = element.get_attribute("href")
    links.append(element.get_attribute("href")) if link != '' else links.append(element.get_attribute("src")) 

要从iframe获取链接,您可能还需要添加:

for frame in driver.find_elements_by_tag_name('iframe'):
    driver.switch_to_frame(frame)
    for element in driver.find_elements_by_xpath('//head/*[@href or @src]):
        link = element.get_attribute("href")
        links.append(element.get_attribute("href")) if link != '' else links.append(element.get_attribute("src"))
    driver.switch_to_default_content()