增量表合并(不包括某些列)

时间:2020-03-04 22:11:28

标签: azure-databricks

我有一个说N列的databricks增量表。我想建立一个ETL管道,通过执行MERGE定期更新此表。

我想在此增量表中添加一些额外的元数据列(例如ETL日期)

现在,当我在下一次运行中获取新数据并进行合并时,我希望基于除ETL Date之外的所有列进行合并,因为此值将有所不同,并且会导致MERGE逻辑无法识别记录正确地。如有需要,我可以稍后更新ETL日期,或者将其留空。

这可能吗?如果有人可以分享有关如何在python中实现此目标的见解,我将不胜感激

是否可以忽略合并中的某些列?说我想根据N-x列进行合并

0 个答案:

没有答案