我需要有关Azure SQL数据仓库的帮助,我正在使用Polybase对从Azure Data Lake Storage Gen2到Azure SQL DW的ELT数据进行处理。当我们第一次将数据加载到DW中时,没有问题。但是,当我们再次加载数据/增量加载时,我们如何添加数据?
我们正在使用的流程
ASDL2->(polybase)->外部表->(CTAS)->过渡表->(转换)->尺寸表
每次数据更改时,我们都会将数据重新加载到ASDL2中,
最好的方法是获取UPSERT数据,还是应该将数据重新加载到SQLDW中?
答案 0 :(得分:1)
由于Azure数据仓库不支持MERGE,因此需要使用其他方式将数据从外部表加载到舞台表中。 PolyBase可用于将初始数据和增量数据加载到外部表架构,但这是您执行对临时表的加载的方式。
以下是有关如何部署此解决方案的出色教程:Using PolyBase to Update Tables in Data Warehouse from ADLS
一旦数据通过ADFv2管道中的PolyBase加载到外部表,将调用触发器以执行ADWH中的sp来执行对临时表的加载。