坚持()火花2.0.2和火花2.2.0+之间的区别

时间:2018-03-19 17:28:40

标签: apache-spark spark-dataframe persistence

使用spark 2.0.2,做......

val parent: DataFrame = ...
parent.persist()
parent.count

val child: DataFrame = parent.filter(...)
child.persist()
child.count

parent.unpersist()

...不会解除child数据框的分散。然而,它确实与火花2.2.0和火花2.3.0(也许它也与2.1一起?我没有尝试)!

是否有替代方案可以从spark 2.0.2重现persist但是使用更新版本的spark?我试过checkpoint,但表演并不好。

0 个答案:

没有答案