如何使用Import.io继续查询自动化

时间:2015-03-13 12:36:57

标签: import.io

我已成功使用Import.io中的Extractor工具创建了一个查询。它完全符合我的要求,但我现在需要每天运行一次或两次。 Import.io作为API的目的是允许我使用自己的应用程序构建逻辑,例如数据存储和计划任务(每天多次运行查询),还是有方法来安排查询并利用长期存储我的结果完全在Import.io服务中?

我很高兴创建一个Laravel或Rails应用程序来向API发出请求并将信息存储在其他地方,但如果我通过这样做重新发明轮子并且他们提供了解决这个问题的方法,那么是一个真正的节省时间。

2 个答案:

答案 0 :(得分:5)

感谢您使用新论坛!是的,我们已将其移至Stack Overflow以最大化社区氛围。

目前,Import无法安排抓取。但是,这是我们将在不久的将来推出的。

目前,您可以在指定时设置要运行的Cron作业。

答案 1 :(得分:0)

如果您使用免费版本,另一种解决方案是使用像travis或jenkins这样的CI工具来安排API脚本。 您可以实时查询提取器,这样您就不需要每次都手动运行它们。这将从您的限制中消耗您的一个请求。

您可以使用的端点是:

https://extraction.import.io/query/extractor/extractor_id?_apikey=apikey&url=url

不幸的是,脚本不是一个非常简单的脚本,因为大多数网站对import.io都有非常不同的响应结构,正如您可能已经知道的那样,该工具的高级版本现在提供了调度功能。