水壶通用ETL工作

Question

我需要制作一个通用的ETL来维护ODS。

我的要求是：

1. 我有一个表T，其中包含源表和目标表的名称
2. 我需要他们在不同的数据库中拥有相同的数据。
3. Kettle Job必须从源表T中检索要移动的表列表，然后将数据从一个移动到另一个。

我已经读到为此目的有一个名为Metadata Injection的转换，但我不认为我可以通过这种转换做我需要的。

有关如何做到这一点的想法？我认为这是一个常见的问题。我不希望每个表有数百个转换。

您是否了解Oracle中的解决方案？

My Kettle版本是4.4.0，我的Oracle版本是11g

非常感谢你。

Answer 1

您可以创建一个模板Job（JOB-X），它将数据从表A加载到表B，然后在另一个Job（JOB-Y）中调用此转换，从Job T获取源表和目标表信息并通过与JOB-X的参数相同。

您可以使用Job Executor / Transformation Executor实现此目的。

为Job Executor附加Pentaho wiki链接：

http://wiki.pentaho.com/display/EAI/Job+Executor