在独立模式下运行时，SparkUI不显示选项卡（作业，阶段，存储，环境等）

Question

我正在通过以下命令运行spark master：

./sbin/start-master.sh

此后，我去了http://localhost:8080，然后看到了下一页。

我希望看到带有“工作，环境”的标签，如下所示……

有人可以帮助我了解问题出在哪里吗？

我需要额外的配置吗？

谢谢

朱塞佩

Answer 1

您在<master-ip>:8080处获得的UI是Masters的Web UI。您可以在<worker-ip>:8081使用一个类似的Workers（8081是默认端口；可以是任何端口）

您要查找的Web UI包含您所运行的应用程序的规范，即执行程序，dag图，阶段等。因此，如果单击Running Applications中的一个，则会得到一个类似下面。点击应用程序用户界面，您将获得所需的页面。

Answer 2

要在Web浏览器中监视和检查Spark作业的执行情况，请访问端口4040而不是8080。

例如：http://ipAddress:4040

在URL中替换8080。

Answer 3

我认为您正在寻找的是SparkUI，您应该首先创建一个SparkContext。例如，如果已安装pyspark，则可以运行它，并且当它正确启动时，您会看到在端口4040或4041处生成了sparkUI ...