批处理文件上载Web App或ETL

时间:2012-09-09 23:00:48

标签: asp.net-mvc ssis etl

我目前正在研究自定义开发的Web App解决方案,它遇到了性能问题:月末和批量文件上传(CSV文件)。

作为.NET 3.5(MVC 1.0)Web应用程序的应用程序具有文件上载功能,供用户进行月末批量上传以及日常CRUD活动,Web应用程序在用户上传时会冻结并且需要花费大量时间来处理(更不用说数据验证错误和批处理失败)。

文件大小正在大幅增加,每月每个文件的行数从~50K到~500K(总共20个单独的文件)。

我正在寻找有关如何最好地解决这个问题的想法,我最初的直觉是文件上传,数据验证和ETL应该通过SSIS完成,并完全从Web应用程序中抽象出来,远程用户可以上传文件到安全FTP位置,有一个SSIS包,拿起文件,处理它(必要时暂存数据库,批准过程),然后将其移动到特定于应用程序的数据库(SQL Server 2008 R2)。

我的客户正在寻找重新设计,我想探索数据库选项和任何其他Web选项,我们可以在解决方案重新设计期间转移到MVC3和.NET 4.0,通过Web进行批处理文件处理应用和C#是错误的IMO。 (我可能错了!)

思想?

干杯

1 个答案:

答案 0 :(得分:0)

使用具有异步回调的SSIS解决方案来解决此问题。 HTTPS文件上传...