如何确定何时使用Spark sql缓存或持久化？

Question

我使用spark-sql进行数据迁移项目。 那么如何在Spark中实现舞台区域呢？ 什么时候使用Spark sql缓存或持久化？ 任何实时用例吗？

〜Sha

Answer 1

与RDD（What is the difference between cache and persist?）类似，cache和persist之间的唯一区别是可以设置非默认存储模式。

但是有一个重要的区别。与RDD API中cache使用MEMORY_ONLY，API Dataset使用MEMORY_AND_DISK的情况不同。