标签: amazon-web-services apache-spark apache-spark-sql yarn emr
如何在spark-sql上获得进度条? spark-shell得到一个很好的进度条,像这样: [Stage7:===========> (14174 + 5)/ 62500]
此进度条指示分配的执行程序总数,正在运行的执行程序数以及已完成的执行程序数。而进度条的长度表示作业完成百分比。
如果没有这个,我们必须只依赖资源管理器UI并不断刷新。
答案 0 :(得分:0)
spark-sql -S将显示精简进度!
spark-sql -S