我想监视纱线火花任务。我已经使用yarn资源管理器rest api来获取spark应用程序的内存和vcores信息。但是如何获取进度信息?
我尝试使用yarn资源管理器rest api,但是spark-on-yarn的进度始终为10%。而且我还尝试了spark web ui rest api,但是它只显示已完成,待处理和已跳过的作业,无法显示所有作业。
现在,我想使用api解决此问题。我找到了JavaStatusTracker
和齐柏林飞艇的JobProgressUtil
。但是我不知道如何使用应用程序ID来获取进度。