是否有获取一些真实世界ETL示例的资源?

时间:2011-04-08 23:05:44

标签: c# etl

我完全相信我正在做的很大一部分工作属于ETL的这个领域,但我甚至不知道3个月之前存在的这个术语。我发现SSIS与我的技能组合有点不匹配,即我的直觉是以经过深思熟虑的方式编写C#代码会给我我需要的结果(我的雇主也不拥有它)。我开始关注WF,因为如果看起来合乎逻辑,但我回到原来的结论,我真的需要了解问题域的基本原理,当我做 时,它将最有意义利用我的经验并在.net / c#中编写解决方案(我是一个单独的团队,而且似乎没有改变)。到目前为止,我有一种类似于syncher实用程序的大杂烩,并且很难开始管理它们所有导致了解这些知识。

问题1是:有没有资源让我得到一些例子,说明如何将它们组合在一起,如:

  • 从具有使用限制的REST服务中提取 - >为了(尽可能接近)实时(尽可能)同步而加载到数据库
  • 从内部第三方应用程序(如QuickBooks)中提取 - >加载到数据库
  • 监视数据库中的更改并以仔细跟踪的批次更新外部系统(即,提取的相同信息由LOB应用程序更改,然后需要推回)

问题2是:我还没有掌握T部分将在何处发挥作用。到目前为止,我一直在提取代表一个系统中逻辑实体的信息并将它们推送到另一个系统中。

2 个答案:

答案 0 :(得分:2)

我没有您所查看的确切方案的任何示例,但如果您想了解有关ETL本身的更多信息,可以尝试查看Ayende's site上的文章。他有一个非常容易使用的ETL过程框架,名为Rhino ETL。以及显示how to use it的视频。

至于T部分的位置,T代表变形。这是您可以(但不一定必须)更改数据形状的过程中的一个步骤。从一个数据源中提取后,您可以添加或删除字段,聚合信息,将对象分解为表,将表映射到对象等。这部分是转换步骤。然后,继续将数据加载到新数据存储或系统中。

希望有所帮助。

答案 1 :(得分:1)