有没有办法找出Spark Web UI使用的端口？

Question

我在Jupyter中用类似的东西开始我的Spark会话：

from pyspark.sql import SparkSession

spark = ( SparkSession
            .builder
            .appName('analysis')
            .getOrCreate() )

有没有办法找出网页用户界面使用的端口？谢谢！

Answer 1

您可以使用uiWebUrl属性：

>>> spark.sparkContext.uiWebUrl
'http://some_host:4040'

，例如拆分

>>> spark.sparkContext.uiWebUrl.split(":")[-1]
'4040'

Answer 2

这就是我在pyspark中弄清楚的方式。

>>> import pyspark
>>> sc = pyspark.SparkContext(appName="some_app")
>>> sc.uiWebUrl

[1]: http://localhost:4041/jobs/