Spark断开并将代码执行到各个阶段。我也知道它是一个进度条,它提供有关Spark中的暂存部分的信息。当作业在群集上运行时,我们从控制台中以下行中的数字获得了哪些信息。
[第133阶段:(4000 + 4)====> (1 + 1)/ 13000]
答案 0 :(得分:1)
进度条表示[Stage 133:(4000 + 4) ====> (1 + 1)/13000]
(numCompletedTasks + numActiveTasks) / totalNumOfTasksInThisStage]
已完成任务的数量= 1
活动任务数量= 1
此阶段的任务总数= 13000
请参阅here了解详情