要查找有关本地spark过程的一些信息,可以通过spark-shell
命令在本地启动:
jps -lm | grep -i spark
但是,如何找到发布UI的TCP端口?
我试过了:
lsof -p PID
但没有运气。
答案 0 :(得分:1)
如果你列出了开放端口,你可以通过greping PID来过滤(我的pid是||
,但你也可以用30688
或者其他东西来缩小结果:
java
并且,除非您已将其重新配置为显着不同的范围,否则您应该能够看到40 *端口(我用$ ss -l -p -n | grep -i 30688
替换了标签以节省空间):
--
答案 1 :(得分:1)
好像你已经有了PID。在这种情况下,您可以在下面运行,这应该指示进程正在侦听的端口:
netstat -tunlp|grep LISTEN|grep PID
火花驱动程序进程可能正在侦听多个端口,因此您可能必须尝试http://host:port获取已获得的端口。
或者,如果您只从jps | grep
中找到一个PID,那么您可以确定该端口是4040(默认的spark web ui端口),除非您找到了args spark.webui.port
。在后一种情况下,从args值获取端口。