将csv文件与db表合并

Question

我必须每天将大量数据从文件加载到数据库表中。这些数据来自ERP系统，拥有5,000,000条记录，并以高达500mb的csv文件提供。 已经有一个集成服务工作负责此工作以及转换，数据检查和导入到另一个系统。我忘了说没有单一的id栏，否则就很容易了。 （3到7个id列） ERP系统也不可能只提供自上次执行以来发生变化的数据。

问题是改进了csv文件到数据表的合并。该表必须始终保持上一次执行的整个数据。

由于性能不佳，我必须更新此导入。以下解决方案已经过验证：

• TSQL-Merge：性能真差，导入需要太长时间
• 自定义DTS任务：我需要知道哪条记录是新的，更新的还是删除的。仅加载db表和csv会抛出OutOfMemoryException
• 将集成服务外部的文件与先前文件进行比较，并仅导入增量。这是一个很好的解决方案，但实际上我们有很多错误，因为文件与以前的负载不同。

现在的问题是，是否有人有这种要求的经验？有没有人有一个很好的建议来解决这个问题？

感谢您的建议！

MH

Answer 1

我还没有开始实施，但在我与Integration Services专家交谈之后，通过临时表和查找来解决这个问题是最好的解决方案。首先，您需要使用TSQL-Task创建临时表，然后使用通常的复制任务插入文件的记录。在查找中，您可以确定它是插入还是更新。

在接下来的两周内，我将继续实施，所以请不要犹豫，向我询问更多细节。