Question

我使用selenium获取网页，我发送kenword获取新页面。但是我如何获得新的网页，并搜索我需要的信息

browser = webdriver.Chrome()

test_url = 'https://www.baidu.com/'

browser.get(test_url)


in_put = browser.find_element_by_xpath('//*[@id="kw"]')
name = 'python'

in_put.send_keys(name.decode())
button = browser.find_element_by_xpath('//*[@id="su"]')
button.click()


page = browser.page_source

with open('baidu.html','wb') as f:
    f.write(page)

请原谅我没有使用降价促销。我的问题：我想在搜索关键字之后获取网页，但是我写了browser.page_source，它是百度的主页

Answer 1

要在python上使用selenium获取当前页面URL

browser.current_url

而不是

browser.page_source

以下是更改后的代码：

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com/')
in_put = browser.find_element_by_xpath('//*[@id="kw"]').send_keys('python')
button = browser.find_element_by_xpath('//*[@id="su"]').click()
page = browser.current_url
print(page)
with open('baidu.html', 'w') as f:
    f.write(page)

输出：

https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=python&rsv_pq=c42791f700000914&rsv_t=d395wla6YQdEj168mrNDyE2%2FUMDzBUE3I%2FcwHbURsI%2FZ5TUaGFq1o83M2Qc&rqlang=cn&rsv_enter=0&rsv_sug3=6&inputT=610&rsv_sug4=611

如何使用selenium获取当前网页

1 个答案: