哪个ETL起点是SQL Server集成最简单，最有效的？

Question

我是ETL世界的新手，我正在尝试安排从另一家公司发送给我们的数据文件，以便它可以ETLed到数据仓库。我将通过SQL Server 2014上的Integration Services开发ETL。基本上，我有五种类型的记录：帐户记录（与个人帐户相关的元记录），购买记录等。

为方便起见，帐户记录只提供有关帐户持有人的信息（姓名，帐号，性别等），购买记录显示购买历史及其金额等

我的问题是：向我们发送记录的公司问我：你想如何安排记录？

1. 多标题/预告片：每个标题指示我们获取的记录类型（标题1将为帐户）
2. 多个文件（每种记录都在一个单独的文件中）
3. 提及属于他的记录后面的人。

例如：

char key

Answer 1

对于SSIS作为您的ETL工具，始终在文件中使用相同的格式。

SSIS可以处理标题记录（我们可以跳过它们）。它无法处理预告片记录（因为我们的列不再一致。

1和3都违反了上述规定。

由于SSIS允许您访问.NET框架，因此可以编写所有自定义解析，然后您可以处理任何文件格式，即使是1或3，但很少除非您只是想要编写ETL的.NET开发人员，否则您公司的明智投资。使用Out Of the Box组件，直到他们不能完成手头的任务，然后使用脚本任务或组件进行补偿。如果这是您的包裹的起始位置，通常会充满危险。