当我启动spark应用程序时，如何计算作业数量

Question

我试图将作业计入第一次， 我试图从JobprogressListener获取它。但只有阶段和任务信息，而不是工作。我们知道Spark应用程序会“按原样”生成作业。

但是如果有一个组件或类记录了作业信息UP FRONT？

Answer 1

这是可能的，但我会推荐Spark RESTful API

步骤：

1. 从applicationId属性
获取SparkContext.applicationId
2. 查询http://context-url:port/applications/api/v1/[app-id]/jobs其中context-url是您的Spark驱动程序的地址，端口是使用Web UI的端口，它通常是4040。 Here is documentation
3. 计算从RESTful API
响应返回的作业