将大型txt插入sql

时间:2017-08-04 02:14:19

标签: sql-server windows

我需要将多个“大”txt文件插入SQL服务器,这将是我第一次处理这些数据。

在我的工作场所当前的方法是导入/导出向导,根据我的同事(我认为太多了),每张桌子需要大约一周的时间。

3个最大的表格在70-140万行之间,列数为50-150。

我一直在阅读有关bcp / bulkinsert的内容,但我真的不知道如何实现以及哪一个更快。我唯一得到的是,使用约束插入数据的速度较慢,应该在创建表后添加它们。

所以我的问题是:哪个工具更适合任务,我可以做些什么来改善性能?。

1 个答案:

答案 0 :(得分:1)

最后,我相信导入/导出向导在后台使用bcp。您可以采取的一些措施来帮助提高绩效:

  • 禁用/删除约束
  • 禁用/移除触发器
  • 禁用/删除索引
  • 使用最小日志记录数据库恢复模型

要记住的一些其他事项是,如果您插入的表格大部分已填充,性能将不会那么快。您还可以并行批量插入文件的一部分。

以下链接包含更多信息和其他优化方式:https://technet.microsoft.com/en-us/library/ms190421(v=sql.105).aspx

希望这有帮助