Spark历史UI无法正常工作| Ambari | YARN

Question

我使用Ambari进行了hadoop集群设置，其中包含主机上运行的HDFS，YARN，spark等服务。 当我以集群模式运行示例spark pi作为主纱线时，应用程序成功执行，我可以从资源管理器日志中查看相同的内容。

但是当我点击历史记录链接时，它不会显示火花历史记录UI。如何启用/查看相同的内容？

Answer 1

首先，通过在 spark-defaults.conf 文件中查找spark.yarn.historyServer.address来检查您的spark-history服务器是否已配置。

如果未配置，此链接应该可以帮助您配置服务器：https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.6/bk_installing_manually_book/content/ch19s04s01.html

如果已配置，请检查是否可以从群集中的所有节点访问历史服务器主机，并且端口是否已打开。