我有一个说N列的databricks增量表。我想建立一个ETL管道,通过执行MERGE定期更新此表。
我想在此增量表中添加一些额外的元数据列(例如ETL日期)
现在,当我在下一次运行中获取新数据并进行合并时,我希望基于除ETL Date之外的所有列进行合并,因为此值将有所不同,并且会导致MERGE逻辑无法识别记录正确地。如有需要,我可以稍后更新ETL日期,或者将其留空。
这可能吗?如果有人可以分享有关如何在python中实现此目标的见解,我将不胜感激
是否可以忽略合并中的某些列?说我想根据N-x列进行合并