ETL工具哪个是最可配置的

时间:2014-08-12 06:17:15

标签: etl data-integration

我正在寻找符合以下标准的最佳ETL工具。

  1. 支持MongoDB
  2. 接受元数据作为输入(或接受文件并动态构建其元数据)
  3. 提供可配置的映射。 (映射可以从外部开发定义,使用一些文件ot table)
  4. 请建议满足上述需求的工具。

1 个答案:

答案 0 :(得分:1)

嗯,你的任务是寻找最可配置的ETL工具。从过去几年的ETL过程经验来看,我可以告诉您,您永远不会找到满足您所有需求的工具。特别是当您拥有企业级数据仓库(由于高且复杂的报告需求而需要)时,唯一的一个软件解决方案是构建您自己的基于ETL的自定义项目软件,这通常是忘恩负义的。

(大BUT),您可以使用现有工具实现至少80%的需求。插件,脚本的智能使用,良好的数据流设计和(如果需要)与调度配对的小型定制软件可以帮助您实现想象的过程。与其他任何工作相比,ETL流程似乎并不相同 - 80% of the work is done in 20% of time, and the rest of work (20%) is done in 80% of time.

我的建议:

Pentaho数据集成 - 免费和开源

PDI是强大的ETL工具,而且可以满足您的需求。如果你要开发更多的插件,有很多插件,坚实的社区和精美的API。

Pentaho数据集成+集成服务器 - 企业版 - "足够便宜"适用于几乎所有中型项目

企业版拥有免费版,包括更多插件(例如JMS生产商),版本控制系统,instaview等等。 此外,它拥有自己的服务器,因此调度是基于软件(不是基于操作系统),日志记录,更好的管理和最重要的事情 - 支持!

Informatica或Microsoft SSIS - 昂贵且精彩

我不会浪费这些工具的话。 Informatica是面向ETL的主要公司,在高层次上使用Informatica需要深入理解DB / DWH设计,ETL过程,PL / SQL,维度建模等。

SSIS是SQL Server的主要构造,因此如果至少有一个源数据库或目标数据库(DWH)没有在SQL Server上运行,我就不会看到高使用率需求。

<强>结论

这只是市场为我们提供的大量工具。其他人甚至可能都不会提到这些工具。请查看lists之一。

几乎每个BI系统都有自己的ETL工具。也许好的选择是将它一起使用,这样你就有可能从两者中使用最大值。

注意:优秀的ETL项目经理或ETL开发人员可以将工具优势扩展到更好/更昂贵的水平!