在写入期间会话被杀死时,Spark saveAsTable是否会回滚?

时间:2018-05-24 06:44:15

标签: apache-spark hive hdfs

使用saveAsTable附加到配置单元托管表时,不完整的saveAsTable完成的工作是否会被回滚,或部分信息是否仍然存在?

1 个答案:

答案 0 :(得分:0)

没有概念"回滚"用火花写表。 saveAsTable时,它不会创建事务表。如果在保存表时火花会话死亡,则表仍处于不可用状态。即使写入了部分数据,您也可能无法读取部分写入的数据。

但是,当您使用仅附加配置单元时,可以读取其余数据。