在Spark UI中,当任务的状态为GET RESULT时,它意味着什么?

时间:2016-03-03 21:02:00

标签: apache-spark apache-spark-mllib apache-spark-ml

我有一个Spark工作,使用Spark ML的逻辑回归训练模型。在树聚合阶段的阶段详细信息页面下的Spark UI中,我看到一些状态为“GET RESULT”的任务。

这种状态意味着什么?是什么导致任务处于这种状态?

1 个答案:

答案 0 :(得分:1)

如果您检查TaskInfo,您会看到" GET RESULT" status要求将gettingResult设置为true,并且当gettingResultTime不为零时会发生这种情况。

最后gettingResultTime代表:

  

任务开始远程获取结果的时间。如果不会被设置      任务完成后立即发送任务结果(而不是发送任务)      IndirectTaskResult以及稍后从块管理器中获取结果。)

总而言之,这意味着任务已经完成,结果将从块管理器中获取。