使用selenium和python来提取javascript生成的HTML?萤火虫?

时间:2013-03-25 19:45:28

标签: python selenium firebug web-scraping selenium-webdriver

Python noobie here。

我所拥有的是数据收集问题。我在这个网站上,当我用Firebug检查我想要的元素时,它会显示包含我需要的信息的源代码。但是常规源代码(没有Firebug)不会给我这个信息。这意味着我也无法获得正常的selenium HTML抓取数据。

我想知道是否有一种方法可以像Firebug一样获取这些数据 - 我猜这是用javascript或jquery加载页面后生成的HTML。

这是一张图片: http://i.imgur.com/CXLOHYx.png

你可以看到我想要的信息是“灰色的”,与大多数其他HTML不同。也许这是一个很好的线索,关于什么样的数据真的是。

1 个答案:

答案 0 :(得分:0)

尝试使用以下代码,看看它是否有效。

import selenium.webdriver.support.ui

element = WebDriverWait(driver, 10).until(
        lambda driver : driver.find_element_by_xpath("fImageMap > area:nth-child(2)")
)