有没有办法在集群模式下找到应用程序映射的驱动程序？
据我所知，在提交应用程序时，CreateSubmissionResponse将返回驱动程序ID，可用于监视或终止驱动程序。我试图在没有存储驱动程序ID的情况下查看是否有任何替代方法。
我看到了驱动程序UI http://<driver>:4040，它在“环境”部分下提供了应用程序信息，但是文档提到了
“如果多个SparkContexts在同一主机上运行，它们将绑定到以4040（4041,4042等）开头的连续端口。”
这使得很难映射哪个驱动程序在port上运行。
有没有办法获取所有驱动程序ID及其应用程序。
环境： Spark独立，Zookeeper作为群集管理器。
任何帮助表示赞赏！
由于
答案 0 :(得分：0)
如果您启动并运行Spark历史记录服务器，最简单的方法是 使用其REST API http://spark.apache.org/docs/latest/monitoring.html#rest-api。校验 / applications endpoint