HDP 2.5：Spark History Server UI不会显示不完整的应用程序

Question

我使用Hortonworks Data Platform 2.5设置了一个新的Hadoop群集。在“旧”群集（已安装HDP 2.4）中，通过单击链接show incomplete applications，我能够通过历史服务器UI查看有关运行Spark作业的信息：

在新安装中，此链接会打开该页面，但它始终是No incomplete applications found!（当应用程序仍在运行时）。

我刚看到，YARN ResourceManager UI在“跟踪用户界面”列中显示了两种不同类型的链接，具体取决于Spark应用程序的状态：

• 应用程序运行：Application Master
  • 此链接会打开http://master_url:8088/proxy/application_1480327991583_0010/
• 申请完成：历史
  • 此链接会打开http://master_url:18080/history/application_1480327991583_0009/jobs/

通过YARN RM链接，我可以看到正在运行的Spark应用程序信息，但为什么我不能通过Spark History Server UI访问它们？是否有些东西从HDP 2.4变为2.5？

Answer 1

我解决了，这是一个网络问题：由于交换机配置不正确，某些群集主机（Spark奴隶）无法相互联系。找到它，因为我试图互相ping每个主机。

由于所有主机都可以ping通主机，问题就消失了，我可以再次在Spark History服务器UI中看到活动和已完成的作业！

我没有注意到这个问题，因为ambari-agents在每个主机上运行，​​并且每个群集主机也可以访问ambari-server！但是，由于ALL主机可以相互联系，问题就解决了！