缓存的RDD是否适应正常的工作人员关闭?

时间:2015-06-26 11:39:56

标签: apache-spark rdd

我有一个(非常)小的Spark群集,用作沙坑'几个人的环境。有时,我需要在维护集群的过程中重新启动工作节点。

如果正在运行的作业正在处理已.cache()的RDD,并且工作人员正常停止(通过在该节点上运行./stop-slave.sh),该部分会发生什么情况缓存的RDD?

我能想到的两个场景(假设RDD的存储级别为MEMORY_ONLY,没有复制)是:

  1. 工作人员将其部分RDD分配给其他工作人员;
  2. 工人持有的RDD部分丢失,必须重新计算。
  3. documentation表示该分区将被重新计算,但不清楚这是否涵盖了“优雅”的分区。工人关机。

0 个答案:

没有答案