如何通过Azure Databricks更新Azure SQL数据库/数据仓库表?

时间:2019-01-24 11:01:54

标签: azure-sql-database databricks azure-sqldw azure-databricks azure-sql-data-warehouse

我的项目中有一个要求,我要在Azure SQL DW中实现SCD类型2表。我能够使用JDBC连接器插入新记录,但是我需要将旧记录更新为“过期”,并根据更新后的值更新其他记录。

1 个答案:

答案 0 :(得分:1)

建议的模式是使用Databricks Azure SQL DW Connector批量加载登台表,或者将新数据写入blob存储或datalake中的文件,并使用Polybase外部表来保存新表行。

然后,一旦将新数据加载到临时表中或从Polybase外部表中获得了新数据,就编写一个TSQL存储过程以“将旧记录更新为“过期”,并根据更新后的值更新其他记录”。 / p>