我在本地数据库的200多个表中有数据,我需要将其移至Azure Data Lake。我不满意在Azure Data Factory中为每个表提供200多个单独的管道(或一个具有200多个活动的管道或其他管道/其活动的分区)。有没有更好/更可扩展的方法来做到这一点?在SSIS中,我可能会创建一个模板包并将其包装在for循环容器中,以迭代表的列表来完成工作,或者更进一步,有一些列表,每个包都可以自行运行独立列出以获得更大的并行性。有没有办法在数据工厂中做同样的事情?
答案 0 :(得分:2)
真的?就动态模式而言,SSIS是可怕的。根据{{3}},Azure数据工厂(ADF)是一种ELT工具,而不是ETL工具,并且在这方面有着根本的不同。但是,使用复制向导不会花那么长时间。
或者,您必须学会将.net SDK和/或Powershell与ADF一起使用,以便更加动态地使用它。理论上,您需要为每个可以在一个管道下运行的表输入和输出数据集。
最后,我不认为这是一个很好的模式(主要是因为你需要一些IaaS来托管它),但作为最后的手段,SSIS现在已经在2016年功能包中与Azure Data Lake集成。