使用Polybase更新Azure SQL数据仓库中的更改

时间:2019-04-07 15:58:12

标签: sql azure polybase warehouse

我需要有关Azure SQL数据仓库的帮助,我正在使用Polybase对从Azure Data Lake Storage Gen2到Azure SQL DW的ELT数据进行处理。当我们第一次将数据加载到DW中时,没有问题。但是,当我们再次加载数据/增量加载时,我们如何添加数据?

我们正在使用的流程

ASDL2->(polybase)->外部表->(CTAS)->过渡表->(转换)->尺寸表

每次数据更改时,我们都会将数据重新加载到ASDL2中,
最好的方法是获取UPSERT数据,还是应该将数据重新加载到SQLDW中?

1 个答案:

答案 0 :(得分:1)

由于Azure数据仓库不支持MERGE,因此需要使用其他方式将数据从外部表加载到舞台表中。 PolyBase可用于将初始数据和增量数据加载到外部表架构,但这是您执行对临时表的加载的方式。

以下是有关如何部署此解决方案的出色教程:Using PolyBase to Update Tables in Data Warehouse from ADLS

一旦数据通过ADFv2管道中的PolyBase加载到外部表,将调用触发器以执行ADWH中的sp来执行对临时表的加载。