如何在没有Spark Rest API的情况下监听Spark中的工作进度

Question

我创建了自己的spark侦听器类，扩展了SparkListener。我已经覆盖了关于JobStart和onJobEnd的方法。但无法找到获得工作进展的方法。我希望看到完成的工作百分比。我知道我可以通过Spark Rest API，但遗憾的是无法使用它。还有其他方法可以获得工作进度百分比吗？

Answer 1

每个工作都由阶段组成，因此工作开始事件有stageInfos。每个阶段都有numTasks，因此您可以计算总共有多少任务，并且通过监听onTaskEnd / onStageCompleted，您可以跟踪工作进度。