如何找到在纱线群集模式下以spark运行的任务的驱动程序进程节点

Question

我的火花正在纱线群集模式下运行。当我提交作业时，我想知道驱动程序在我的群集中找到哪台机器。 似乎我只能从纱网ui获得容器位置：

我该怎么办？

Answer 1

Spark Web UI在驱动程序节点的端口4040上启动，因此找到驱动程序IP的一种方法是单击日志链接并搜索4040

示例日志行为SparkUI: Bound SparkUI to 0.0.0.0, and started at http://10.100.0.117:4040，其中10.100.0.117是驱动程序节点的IP地址。