解析生成的网页Python Selenium

时间:2014-08-18 05:14:23

标签: python html selenium selenium-webdriver beautifulsoup

我在Python中使用Selenium webdriver在搜索字段中输入一些文本并查找它。我现在想解析那个页面/使用像BeautifulSoup这样的东西。但我对如何调用结果页面感到困惑。

到目前为止我的代码:

textinput = open("1.txt", "r").read()
url = "http://www.example.com"
driver = webdriver.Chrome(executable_path='path/chromedriver.exe')
driver.get(url)
sbox = driver.find_element_by_name("a")
sbox.send_keys(textinput)

submit = driver.find_element_by_xpath('//*[@id="maincontent"]/form/input[5]')
submit.click()

1 个答案:

答案 0 :(得分:0)

使用以下方式点击提交按钮后

submit.click()

它会自动转到下一页。因此,要解析生成的页面,只需创建另一个页面:

whatimlookingfor = driver.find_element_by_id("myid")

submit = driver.find_element_by_xpath('//*[@id="maincontent"]/form/input[5]')
# You are still on the first page
submit.click()
# You are now on the second page
whatimlookingfor = driver.find_element_by_id("myid")