创建ETL系统(数据导入和转换)

时间:2011-03-22 08:44:49

标签: c# transform

我的任务是编写一个模块,用于将数据导入客户端系统。 我想把这个过程分成4个部分:

1. :连接到数据源(SQL,Excel,Access,CSV,ActiveDirectory,Sharepoint和Oracle) - 完成了 2。从源获取可用的表/数据组 - 完成
一世。从选定的表/数据组中获取可用字段 - 完成
II。从所选字段中获取所有数据 - 完成
3. 将数据转换为用户的要求
4. 将转换后的数据写入MSSQL目标

我正在尝试计划如何处理复杂的数据转换,例如:
从表tblA获取列A,从表tblB连接到列FA,并在它们之间用分号连接这两个。

OR

从源表tblC获取列C,其中列tblC.D不在目标数据库的表tblG列G中。

我担心的不是视觉,而是代表此操作的代码。

我不是要求提供示例代码,而是要求一些创意。

数据转换不会使用自由文本,而是拖放代表操作的对象。

我有点迷失,需要一些新的输入。

2 个答案:

答案 0 :(得分:3)

也许你可以从这个开源项目中获取一些想法:Rhino ETL

答案 1 :(得分:0)

请参阅我的回答:Manipulate values in a datatable?