使用桌面工具从REST API加载和刷新JSON数据集

Question

目前，我查询WebTrends API以将数据下载到Excel中。但是，现在我正在寻找一种更可靠的方法/工具来获取JSON / XML格式的数据，然后将其转换为CSV，以便在各种数据存储和分析工具中使用它。

如果该工具可以通过将新数据附加到现有数据集来定期自动更新Feed，那将是一个额外的好处。

哦，它需要是Free / Opensource。

我的研究让我学习了Talend，JaspersoftETL和CloverETL等ETL工具。但我正在努力确定他们是否可以完成这项工作以及哪一项更容易！有谁知道如何以1-free 2-easy 3-lightweight方式完成上述工作？

WebTrends API网址如下所示：http://ws.webtrends.com/v2_1/ReportService/profiles/dnGpm8jbgl7/reports/1RxjilSo4n7/?totals=none&period=2017m02d27 * 26＆amp; format = json＆amp; suppress_error_codes = true

谢谢，

Answer 1

如果您可以使用Ruby，那么Kiba ETL是一个轻量级的免费OSS解决方案，您可以将其用于此类场景。

通常代码如下：

source YourJSONHTTPDownloadSource, urls: [url_1, url_2]

transform do |row|
  # remap the fields as needed
  row
end

destination YourCSVDestination, filename: my_filename  

你可以使用Kiba命令行运行它。

您必须编写YourJSONHTTPDownloadSource（Kiba源来从网址获取数据并生成每个JSON / XML元素）和YourCSVDestination（有关详细信息，请查看{{ 3}}）。

PS：您提供的网址需要验证，这意味着我们看不到任何内容。