我想要做的就是刮掉网页' http://www.trulia.com/property/1080560259-2-Penelope-Ln-Middletown-NJ-07748'。在此选项标签Estimates(在Comparable and Estimates部分下方)选中时,Google地图下方的数据会动态加载。 此数据在页面源中不可见,但同时在Developer Tools窗口(上下文菜单,Inspect Element)中可见。
我使用的是Selenium和Python 2.7。有没有办法访问这些数据?或者有没有办法访问所有元素?
提前致谢。
答案 0 :(得分:2)
由于这是由ajax提供的,你需要自己解决这个问题。
我做的事情如下:(这是伪代码)
find_element_by_css_selector('a#dataset_nearby').click()
waitForElement('ul#places_map_module li.active table.table tr')
你可能需要摆弄选择器,但是在waitForElement中,基本上你只需要对元素进行持续检查,并等到它在你执行命令之前可用。