常见的进口流程

时间:2011-06-02 19:28:09

标签: .net sql-server sql-server-2005

我正在寻找为我公司主系统的各个部分创建一个通用的导入例程,以便在实现新客户端时使用。例如,我们可能会获得需要导入公共模型的库存,客户等的excel或csv文件。

我想知道是否有人做过这样的事情(在技术和/或流程方面)有一些好的想法或最佳实践。我们是一个基于MS SQL2005和.Net的商店。

我在考虑类似UPS的世界,其中程序会解释您的导入文件,并且您将列中的列与UPS系统中的可用列相匹配,但可能有更好的方法...这只是我习惯的接口

其次,我想以这样的方式构建它,以便其他开发人员也可以将自己的数据操作例程插入到流程中(即,如果导入值为Y,则更改为1)。所以关于如何实现这一点的任何想法都非常感谢!

我知道这些信息不足以提供全面的解决方案。我只是希望得到一些好的想法,也许是关于如何最好地攻击它的不同观点;)

提前致谢!

1 个答案:

答案 0 :(得分:1)

我们使用SSIS并创建父包和子包。在子包中是标准字段和转换以及导入到生产表。在父包中是任何非标准转换(由于该特定客户端的数据问题而需要)和非标准导入任务(可能它们提供通常不需要导入的专用数据。父包采用客户端数据的格式为客户端能够将它提供给我们(这通常不是我们想要获得的格式)并将其转换为我们的标准格式,然后调用子包来执行所有标准操作。我们通过以下方式配置子包从父包发送的变量(对于不同客户端会更改的客户端ID)。

要注意的一件事是使用小于普通数据集开发子包。出于开发目的,请使用您希望从最大客户端获得的最大大小的文件。你不想花时间创建一个只在文件较小时才能工作的子包,当文件很大时需要24小时。最好先了解大文件的性能。