我正在使用spark,需要将数据库副本中的cdc文件应用于镶木地板文件,例如upsert。 我已经做了代码来获取Cdc文件中每个ID的最后状态,但是现在我需要将这些最后状态应用于历史镶木地板上。
答案 0 :(得分:0)
很遗憾,没有-请参阅此JIRA-https://issues.apache.org/jira/browse/PARQUET-1289
ORC文件具有此功能(用于在Hive中启用ACID合规性),但是我不确定如何从Spark访问该功能。 https://orc.apache.org/docs/acid.html