提取gz压缩文件夹并处理它们的最佳方法是什么?

时间:2019-09-17 18:31:44

标签: c# .net asynchronous sqlbulkcopy

我目前有一个运行C#进程的日志,该日志将gz文件解压缩为xml文件。提取完这些文件后,我便使用Entity Framework处理该文件以填充实体。我每10,000条记录使用Tanneryd.BulkOperations.EF6设置一系列SQLBulkCopy来更新SQL Server数据库。每10,000条记录进行一次批量插入,直到该文件完成,然后该过程从下一个压缩文件开始。

我正在寻找加快所有这些过程的方法。我意识到将Entity Framework从方程式中剔除可能会给我带来很大的帮助,并且摆脱了表中的相同列并摆脱了其他管理方式,但是它是一个包含很多相关表的相当复杂的数据库。话虽如此,如果我可以显着提高性能,我愿意重新审视这段代码。

我想知道人们对于设置一个异步过程来解压缩文件有什么想法,并在完成后将它们添加到要处理的排队过程中?我还可以设置异步方法来在处理一批记录到数据库时继续处理xml文件。

任何想法都值得赞赏!

0 个答案:

没有答案