如何使用Selenium(或BeautifulSoup)来访问这些隐藏元素?

时间:2016-03-14 05:36:06

标签: python selenium beautifulsoup phantomjs

以下是一个分页控制动态加载结果的示例页面。

http://www.rehabs.com/local/jacksonville-fl/

我目前所知道的只有:

curButton = 1
driver.find_element_by_css_selector('ul[class="pagination"]').find_elements_by_tag_name('li')[curButton].click()

似乎没有发生任何事情(同时尝试访问并点击a标记或driver.get()a元素的href时。

是否有其他方法可以访问隐藏的元素?例如,在阅读整个页面的html时,会显示不同分页的元素,但很明显无法使用BeautifulSoup。

2 个答案:

答案 0 :(得分:1)

为人类添加了分页。也许你使用了错误的xpath或css。检查一下。

使用此xpath:

//div[@id="listing-basic"]/article/div[@class="h3"]/a/@href

答案 1 :(得分:1)

您可以点击分页按钮:

driver.find_elements_by_css_selector('.pagination li a')[1].click()