使用spark 2.0.2,做......
val parent: DataFrame = ...
parent.persist()
parent.count
val child: DataFrame = parent.filter(...)
child.persist()
child.count
parent.unpersist()
...不会解除child
数据框的分散。然而,它确实与火花2.2.0和火花2.3.0(也许它也与2.1一起?我没有尝试)!
是否有替代方案可以从spark 2.0.2重现persist
但是使用更新版本的spark?我试过checkpoint
,但表演并不好。