一般ETL原则 - 来自未知数量表的ETL?

时间:2014-01-14 19:15:44

标签: sql database ssis etl

AFAIK,ETL整合来自固定数量的来源/表格的数据。 ETL是否可以整合未来可能添加的未知数量的表中的数据,因为这些表可能是不同类型(客户,运输,员工,会计等)?

编辑 -

让A,B,C成为表格。我们可以有以下ETL场景 - A + B + C = 1行或A + B + C = 3行

我有第一个。之后,我们可以添加表D,E,F,G ......等所有表格在它们包含的数据方面可能彼此不同。

1 个答案:

答案 0 :(得分:1)

无法定义转换。

无论如何,在某些自定义数据库中预先定义转换与在SSIS中预先定义转换没有效率。优点是SSIS平台已经建成!

您需要在某些时候定义转换,在看到源,目标和业务规则之前,您无法评估这些转换。

您可能会对复制感到困惑。在这种情况下,没有变换。您只是通过ETL复制相同的表。例如,如果表D,E,F,G简单地需要在没有转换的情况下进行相同的复制,那么对于大多数复制平台而言,只需添加表而不需要进行任何转换就相对简单。

BIML是一种自动生成SSIS包的方法。也许你应该对此进行一些研究。