要在文件上传时插入大量数据:最佳解决方案?

时间:2014-11-28 11:16:11

标签: c# .net sql-server entity

我找到了解决问题的方法,但是我的知识限制了我看到其他解决方案;

上下文:我们将Perfmon文件上传到Web应用程序,并将所有值存储在数据库中。该文件具有此csv结构:


time, counter1, counter2, counter3(process1), ...

0:00, x, y, z,...

0:30, ...

(x,y和z显然是值)

例如,3个月的Perfmon会产生或多或少的2M数据。

我的解决方案:在文件上传时,某些逻辑会使用以下结构读取和转换文件:


time, counter, process, value

0:00, counter1,, x

0:00, counter2,, y

0:00, counter3,process1,z

0:30, ...

保存此文件后,我的数据库可以在知道路径的情况下进行批量插入。

我想不出其他不需要大量交易或更优化的解决方案。虽然此解决方案可能有一些限制,因为数据库服务器需要拥有存储服务器的正确权限。

打开听到你的想法, 干杯!

1 个答案:

答案 0 :(得分:0)

我发现了sqlbulkcopy,试了一下,实际上改善了性能时间x3