如何通过提交 id 从历史服务器获取火花日志

时间:2021-05-11 18:40:59

标签: apache-spark

我尝试从 Spark API 提交的 Spark 历史服务器的 Spark 作业中获取日志。对 spark submit API 的 http 调用的成功响应返回一个“submissionId”,可用于获取作业的状态 (source):

卷曲http://192.168.133.128:6066/v1/submissions/status/driver-20180429125849-0001

{
  "action" : "SubmissionStatusResponse",
  "driverState" : "FINISHED",
  "serverSparkVersion" : "2.0.1",
  "submissionId" : "driver-20180429125849-0001",
  "success" : true,
  "workerHostPort" : "192.168.133.128:38451",
  "workerId" : "worker-20180429124356-192.168.133.128-38451"
}

现在我想从给定提交 ID 的 Spark 历史服务器获取完整日志。 Sparks REST API documentation 表示他们需要申请或工作 ID 才能获得特定工作。

您知道如何获取这些日志吗?仅给定 submitId 或 WorkerId?

0 个答案:

没有答案