从Python中的动态页面元素中提取信息而不“点击”使其可见?

时间:2015-10-22 02:52:39

标签: python python-2.7 selenium-webdriver webdriver lxml

对于我的生活,我想不出更好的头衔......

我有一个基于Python WebDriver的刮刀,进入谷歌,进入本地搜索,如脊椎治疗师+纽约+ ny ,点击更多脊椎按摩师+纽约+纽约,最终会出现在this

这样的网页上

enter image description here

刮刀的目标是在这样的结果页面上获取20个结果中每个结果的电话号码和完整地址(包括套件#等。)。为了做到这一点,我需要点击WebDriver点击20个条目,在Google地图上显示叠加层:

enter image description here

这非常慢。如果不必触发这些叠加中的每一个,我将能够以更快的lxml完成所有操作,直接进入结果页面的最终URL,然后通过XPath进行提取。但是,如果没有先点击显示叠加层的链接,我似乎无法从叠加层获取数据。

有没有办法从这个页面元素中获取数据而不必点击相关的链接?

0 个答案:

没有答案