Amazon EMR - Spark dataframe.cache()仅存储在核心节点中,还存储在任务节点上?

时间:2018-06-15 07:22:38

标签: apache-spark apache-spark-sql emr

我在AWS EMR Spark(v2)上运行并计算了一个大型数据帧。当dataframe.cache()(懒惰)启动时会在任务节点上执行,还是将数据框移动到核心节点进行缓存?

0 个答案:

没有答案