如何从SparkContext获取WebUI URI

Question

我在IPython笔记本中运行pySpark。每个笔记本都有自己的sparkContext，每个笔记本在自己的端口上都有一个关联的webUI，从4040开始 我想提取并打印端口或URI，以便我可以浏览到正确的webUI。我怎样才能得到这个信息？

Answer 1

您可以通过以下方式直接隧道连接到底层Scala SparkContext来获取SparkUI页面的完整URL：

>>> sc._jsc.sc().uiWebUrl().get()
u'http://192.168.0.59:6970'

这有点不方便，所以我只是filed a Pull Request添加了一个访问器，所以你可以这样做：

>>> sc.uiWebUrl
u'http://192.168.0.59:6970'

希望这将合并到下一个版本中，但如果没有，您可以使用链接分支中的更改简单地修补您自己的Spark副本（或使用上面的丑陋长表）。

编辑： PR确实已合并，因此上面的sc.uiWebUrl语法现在可以在没有任何修补的情况下使用最新版本的Spark。