我一直在使用import.io从数百个网页中提取大量数据。我已经为这些网址创建了提取器,但仍然添加了更多。
我设计了一个自动流程,以递归方式向所有提取器的import.io RESTful API发送HTTP请求。
每次创建新的提取器时,我都会执行一些手动任务,将新创建的提取器的端点插入到我的数据库中。这种方法非常耗时,并且可能容易出错,因为存在复制/粘贴错误的可能性。
虽然import.io维护着我的数据列表,但我喜欢下载所有提取器及其端点以获取RESTful请求,以便将数据存储到我的数据库中。
有没有办法将我的所有数据下载或提取为excel格式或其他?
答案 0 :(得分:2)
此时,我无法为所有提取器批量下载API端点。
可以使用此方法获取连接器的GUID。
http://api.docs.import.io/legacy/#ConnectorMethods"搜索连接器"
你可以在python中编写一个小脚本来解析它以获取GUID。
您可以将其添加到自动化流程中。