我们目前使用SSIS和SQL Server处理包含来自不同客户的数百万条记录的文件。
收到这些文件后,它们将被加载到数据库中,并执行不同类型的连接以从不同的数据源中提取和合并数据。
一旦数据被按下,最终输出数据将被提取到一个文件并上传到FTP。
我们正在使用SSIS实现上述逻辑,平均每个卖家的文件需要3分钟。这是很多时间,我们希望在一分钟内处理每个卖家的文件。 SSIS包中的所有SP和组件都已经过调整。
我们目前正在连续处理文件,这是我们遇到性能问题的原因之一。但是,由于目前没有预算可以累积额外的硬件,我们无法并行处理卖家的文件,因为这会导致服务器上的资源紧张。我的问题是,如果不采购额外的硬件,我们还能做些什么来加快文件的处理时间?我们愿意尝试新技术。