spark-sql:如何获取进度条(包含阶段和任务)?

时间:2018-02-06 19:30:55

标签: amazon-web-services apache-spark apache-spark-sql yarn emr

如何在spark-sql上获得进度条? spark-shell得到一个很好的进度条,像这样: [Stage7:===========> (14174 + 5)/ 62500]

此进度条指示分配的执行程序总数,正在运行的执行程序数以及已完成的执行程序数。而进度条的长度表示作业完成百分比。

如果没有这个,我们必须只依赖资源管理器UI并不断刷新。

1 个答案:

答案 0 :(得分:0)

spark-sql -S将显示精简进度!