在作业运行时在控制台中解释Apache Spark阶段进度条

时间:2017-05-25 13:35:13

标签: apache-spark

Spark断开并将代码执行到各个阶段。我也知道它是一个进度条,它提供有关Spark中的暂存部分的信息。当作业在群集上运行时,我们从控制台中以下行中的数字获得了哪些信息。

[第133阶段:(4000 + 4)====> (1 + 1)/ 13000]

1 个答案:

答案 0 :(得分:1)

进度条表示[Stage 133:(4000 + 4) ====> (1 + 1)/13000]

(numCompletedTasks + numActiveTasks) / totalNumOfTasksInThisStage]
  • 已完成任务的数量= 1

  • 活动任务数量= 1

  • 此阶段的任务总数= 13000

请参阅here了解详情