在舞台上显示的数字的Spark-shell含义

时间:2017-05-16 04:42:19

标签: apache-spark

[Stage 5:=====>  (26372 + 264) / 27840] 

[stage 6:=========> (0 + 200 ) / 200 ] 

嗨,我正在使用spark 1.6.1。

我使用spark-shell查看数据,我想知道每个数字的含义。

( A + B / C ) 

1 个答案:

答案 0 :(得分:8)

[Stage 5:=====> (26372 + 264) / 27840]的含义是

(numCompletedTasks + numActiveTasks) / totalNumOfTasksInThisStage)
  • 已完成任务的数量= 26372
  • 活动任务数= 264
  • 此阶段的任务总数= 27840