从交互式地图中刮取数据

时间:2015-05-29 15:48:57

标签: python svg web-scraping

我想抓取这张地图背后的选民登记数据:

http://www.bostonglobe.com/metro/2012/08/28/registration-figures-show-massachusetts-voters-continue-abandon-two-major-political-parties/p0zW7Snj9R07DK913P36kM/igraphic.html?p1=Article_Graphic

当您将鼠标悬停在每个城镇上时,下方框中的总数和旁边数字都会发生变化。我想记录每个城镇的名称和登记计数。任何有关如何做到这一点的建议都会非常有帮助。我过去曾做过一些拼抢,但没有像这样的任何互动,我最初几次使用各种python包的尝试都没有用。

(不幸的是,底部的来源链接没有用,因为它只链接到国务卿的主页,原始报告中的数据不再可用)

1 个答案:

答案 0 :(得分:2)

不需要构建一个应用程序来抓取这个,我只是看了5分钟的页面来源,看看这个:

http://www.bostonglobe.com/r/Boston/2011-2020/WebGraphics/Metro/BostonGlobe.com/2012/08/voter/voter-regs.js

,否则

您需要拥有一个具有javascript引擎的技术,例如phantomjs或firefox / chrome驱动程序。

如果你想坚持使用python,可以选择Selenium webdriver。

http://www.seleniumhq.org/projects/webdriver/