如何通过应用程序ID监视“ spark-on-yarn”的进度?

时间:2019-09-09 02:52:11

标签: apache-spark

我想监视纱线火花任务。我已经使用yarn资源管理器rest api来获取spark应用程序的内存和vcores信息。但是如何获取进度信息?

我尝试使用yarn资源管理器rest api,但是spark-on-yarn的进度始终为10%。而且我还尝试了spark web ui rest api,但是它只显示已完成,待处理和已跳过的作业,无法显示所有作业。

现在,我想使用api解决此问题。我找到了JavaStatusTracker和齐柏林飞艇的JobProgressUtil。但是我不知道如何使用应用程序ID来获取进度。

0 个答案:

没有答案