如何访问网页使用python selenium检查元素内容?

时间:2014-05-08 22:04:46

标签: python selenium web-scraping beautifulsoup

我想要做的就是刮掉网页' http://www.trulia.com/property/1080560259-2-Penelope-Ln-Middletown-NJ-07748'。在此选项标签Estimates(在Comparable and Estimates部分下方)选中时,Google地图下方的数据会动态加载。 此数据在页面源中不可见,但同时在Developer Tools窗口(上下文菜单,Inspect Element)中可见。

我使用的是Selenium和Python 2.7。有没有办法访问这些数据?或者有没有办法访问所有元素?

提前致谢。

1 个答案:

答案 0 :(得分:2)

由于这是由ajax提供的,你需要自己解决这个问题。

我做的事情如下:(这是伪代码)

find_element_by_css_selector('a#dataset_nearby').click()
waitForElement('ul#places_map_module li.active table.table tr')

你可能需要摆弄选择器,但是在waitForElement中,基本上你只需要对元素进行持续检查,并等到它在你执行命令之前可用。