如何以最佳方式在SSIS中的不同服务器上将大型数据源中的数据与小型数据源进行联接?

时间:2019-07-02 13:24:00

标签: sql-server ssis

我的ERP数据源有1600万条记录,只需要选择几千条记录即可,但要基于来自不同来源的数据,条件可能会起作用,但是要用于条件来自不同来源的数据在不同的服务器上,传统方法是使用合并连接,这非常耗时。 我需要一种没有合并联接或查找列的方法来使其更快。 以下是我将ERP中的数据同步到公司的数据库enter image description here

所做的工作

以上软件包用于金融交易,由于ERP数据是只读的,因此每天早晨都会同步到公司的数据库。要同步1600万条记录,我需要30分钟的时间来执行并行任务和表分区,但是Finance Dept现在想如果愿意,可以手动运行该软件包,可以说他只希望将ERP的100条记录同步到Company Db,如果使用以下解决方案,它将扫描所有1600万条记录以获取所需的100条记录进行同步,以给出用例 财务部在我们公司的应用程序(使用公司数据库)中选择了很少的分类帐。公司应用程序只需要为该分类帐运行程序包,以在公司的应用程序中获取更新的净余额。因此,我的方法是将他选择的分类帐存储在表中并将表加入SSIS包中的ERP。 并像每天早上同步一样(超过小费)继续前进

SELECT netbalance FROM ERP WHERE ledger in (SELECT ledgercode from MYSKM ) 

我想实现上述目标,但由于ERP和MYSKM都在不同的服务器上而无法实现

0 个答案:

没有答案