REST输入和ODATA（或REST）输出的ETL工具建议

Question

我们有一个REST数据源，需要转到ERP ODATA目标。

数据是表格形式，主要是字符串，数字和简单类型。 数据很多（每天少于1,000行）。

我们想要具有以下功能的ETL工具：

1. 记录
2. 命令行友好
3. 每晚自动运行（计划运行）
4. 简单的GUI（我们可能必须做一些简单的转换或过滤）
5. 警告（通过电子邮件发送）错误
6. 非常容易学习（我们有一些NiFi专家，但这可能太多了）
7. 我们不在乎它不是免费的还是开源的，实际上付费支持会更好
8. 不是云服务。数据源在公司网络本地。数据不能移到异地。

针对这种详细程度的Google搜索者并没有那么成功。

Answer 1

我不明白命令行的用例是什么？

一些顶级的ETL工具是：

• Nifi
• Pentaho
• UC4
• Airflow

如果您没有大量数据，那么一些CI工具（例如Jenkins和TeamCity）实际上就足够了。但是您必须自己编写脚本

Answer 2

我建议您看看Informatica Powercenter。它是一种付费工具，支持也相当不错。

记录-提供了许多记录过程的方法

命令行友好-可以通过任何CI / CD工具调用良好的命令行工具

夜间自动运行（计划运行）-该工具提供内置的计划程序供使用，并在命令行的帮助下支持复杂的计划程序

简单的GUI（我们可能必须做一些简单的转换或过滤）-GUI非常简单，并且在YouTube上有很多关于此工具的教程

错误提示（电子邮件）-您可以通过简单的命令/拖放功能启用电子邮件错误，也可以使用后端命令行

非常容易学习（我们有一些NiFi专家，但这可能太多了）-这是主观的，但是此工具相当简单。

我们不在乎它不是免费还是开源，实际上付费支持更好-这是一种付费工具

不是云服务。数据源在公司网络本地。数据不能脱离现场-工具的最佳组成部分。既可以在内部部署也可以在云上使用。您的选择选择。