如何抓取javascript调用的网站数据

时间:2015-04-11 14:40:03

标签: javascript

这里的第一篇文章 - 如果我犯了任何错误,请提前道歉。我想在这张地图上刮掉所有郊区的房价中位数。当您将鼠标滚动到地图中的郊区时,会出现房价中位数。理想情况下,输出将在第一列郊区名称中具有优势,第二列中位数价格具有约100个左右的郊区(即列)。我不知道任何编程,并尝试使用parsehub(https://www.parsehub.com/)来做到这一点,但没有任何运气。

如果有人有任何建议,请告诉我!请找到下面的地图链接:

http://www.realestate.com.au/invest/2-bed-unit-in-st+marys,+nsw+2760?zoom=10

提前致谢...

2 个答案:

答案 0 :(得分:0)

您可以使用PhantomJS

" PhantomJS是一个带有JavaScript API的无头WebKit脚本。它具有对各种Web标准的快速和本机支持:DOM处理,CSS选择器,JSON,Canvas和SVG。"

这将允许您使用JavaScript从页面中抓取数据。另一个建议是使用Import.IO。该服务是免费的,不需要任何编程来废弃数据。该服务将为您提供一个API来调用它返回JSON数据。数据存储在他们的服务器上并且相对较快。

答案 1 :(得分:0)

ParseHub的创始人之一。目前,ParseHub只能从基于SVG的地图中提取数据,而不能从基于画布的地图中提取数据。我意识到这是一个技术细节,对你来说可能并不重要。我们正在针对您的问题寻找解决方法,希望很快收到我的电子邮件。

另一方面,虽然我们可以从技术角度解决这个问题,但我们强烈建议您遵守从中提取数据的任何网站的服务条款。

-Serge