在ssis中加载平面文件的最快方法

时间:2012-06-19 20:09:39

标签: ssis bids

我有一个需要在SQL Server中加载的平面文件。为此,我必须使用SSIS。现在我想了解一些可以帮助我以最快的方式加载这些文件的内容:

  1. 我应该使用平面文件管理器还是脚本任务来加载平面文件? (因为在我的一个question中,我得到了一个答案,说明脚本任务加载的速度更快
  2. 目标(ADO.NET或SQL Server)?
  3. 我可以用更快的方式加载文件的任何其他设置/平面文件的最佳实践吗?

2 个答案:

答案 0 :(得分:1)

我认为,对于你想要实现的目标,SSIS将是一个很好的方式。它允许更多的灵活性。至于使用平面文件管理器/脚本,脚本将始终为您提供更好的性能,但我使用SSIS,因为它使事情更容易导航(或修复)。我敢肯定很多死硬的SQL开发人员会告诉你编写脚本,但我发现其中任何一种方法都有效。

就目的地而言,我专门使用SQL Server,所以我无法说出你问题的那一部分。

在我看来,最佳做法是保持尽可能简单。您可以更轻松地获得更好的性能。在SSIS的3年中,我总是尽力优化任何查询,然后将其放入SSIS。

听起来你只是对这些文件进行简单的ETL,如果是这样的话,我会根据我的经验推荐SSIS。加载完所有内容后,您可以修改char,varchar和int的不同情况的数据类型。

希望这有帮助!

答案 1 :(得分:1)

以下是Microsoft如何使用SSIS在30分钟内加载1TB的参考。

当你说脚本编写速度更快以来我感到很惊讶,因为微软使用平面文件源和OLEDB目的地完成同样的功能。他们还通过将加载过程分解为较小的块并对目标表进行分区并使用调整良好的硬件来优化负载。但是,如果我必须从SSIS加载大型数据集,那么他们在SSIS包中使用的技术就是我所使用的。

(Microsoft) We Loaded 1TB in 30 Minutes with SSIS, and so can you