找出本地Apache Spark UI所在的端口

时间:2018-04-03 15:43:50

标签: apache-spark

要查找有关本地spark过程的一些信息,可以通过spark-shell命令在本地启动:

jps -lm | grep -i spark

但是,如何找到发布UI的TCP端口?

我试过了:

lsof -p PID

但没有运气。

2 个答案:

答案 0 :(得分:1)

如果你列出了开放端口,你可以通过greping PID来过滤(我的pid是||,但你也可以用30688或者其他东西来缩小结果:

java

并且,除非您已将其重新配置为显着不同的范围,否则您应该能够看到40 *端口(我用$ ss -l -p -n | grep -i 30688 替换了标签以节省空间):

--

答案 1 :(得分:1)

好像你已经有了PID。在这种情况下,您可以在下面运行,这应该指示进程正在侦听的端口:

netstat -tunlp|grep LISTEN|grep PID

火花驱动程序进程可能正在侦听多个端口,因此您可能必须尝试http://host:port获取已获得的端口。

或者,如果您只从jps | grep中找到一个PID,那么您可以确定该端口是4040(默认的spark web ui端口),除非您找到了args spark.webui.port。在后一种情况下,从args值获取端口。