是否可以在镶木地板文件上应用CDC?

时间:2018-10-25 20:51:23

标签: apache-spark pyspark avro parquet aws-glue

我正在使用spark,需要将数据库副本中的cdc文件应用于镶木地板文件,例如upsert。 我已经做了代码来获取Cdc文件中每个ID的最后状态,但是现在我需要将这些最后状态应用于历史镶木地板上。

1 个答案:

答案 0 :(得分:0)

很遗憾,没有-请参阅此JIRA-https://issues.apache.org/jira/browse/PARQUET-1289

ORC文件具有此功能(用于在Hive中启用ACID合规性),但是我不确定如何从Spark访问该功能。 https://orc.apache.org/docs/acid.html