任何人都知道一个可以抓取页面并为抓取的数据创建REST API的在线工具?

时间:2013-10-28 22:12:21

标签: api web-scraping scrape

我正在寻找能够登录平台,抓取数据(报告)然后允许通过API访问数据的SaaS解决方案。我有一些报告平台,提供网络报告和电子邮件报告,但没有API。在线报告没有帮助,电子邮件报告虽然可以自动化和删除,但并不可靠。

4 个答案:

答案 0 :(得分:9)

如果您愿意通过自己的连接进行搜索,请查看Import IO。他们有一个桌面应用程序,您可以使用它来教授系统如何抓取页面,然后从该应用程序运行爬虫 - 根据您的意愿,您可以根据需要运行它。

然后,您可以将数据上传到导入云,然后通过import.io服务器上的API将其上传到导入云。可以将有用的数据公之于众,以便将其捐赠给公地"如果你愿意的话。

答案 1 :(得分:2)

看起来https://www.kimonolabs.com/完全符合您的需要。

答案 2 :(得分:0)

我做了一些挖掘,发现iMacros作为一种可能的解决方案。它基于Windows,这在我的情况下是一个缺点,但它确实允许通过common web scripting和ASP.net等PHP语言实现抓取和后续交互的自动化。

我正在尝试为Linux找到替代解决方案。

答案 3 :(得分:0)

如果您熟悉jQuery,我认为您可以使用node.js和Cheerio模块,那么您可以创建一个简单的应用程序来进行自动抓取。 实际上我已经建立了一个基于上述技术的网上抓取网站,该网站是www.datafiddle.net,你可以看一下。