Amazon EMR上的Apache spark Web UI无法正常工作

Question

我们在Amazon EMR 4.1上使用Spark。在纱线资源管理器上访问应用程序主链接时，我们看到一个空白页面。使用Firefox调试，我们注意到我们遇到了HTTP 500错误。我们已尝试为AWS配置代理设置，并使用外部主机名/ IP地址替换URL的内部主机名，但仍无法访问Web ui。

过去，我们在EMR 3.x版本上采用了相同的步骤。

Answer 1

问题似乎是你的代理，我遇到了同样的问题 添加此sbt存储库或maven，无论您使用什么

SBT

"org.apache.hadoop" % "hadoop-yarn-server-web-proxy"

的Maven

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-yarn-server-web-proxy</artifactId>
    <version>2.6.2</version>
</dependency>

为我工作

Answer 2

ip *是私有IP地址。您将无法直接访问它。您需要使用以ec2开头的公共IP，或者您需要使用公共IP通过服务器使用ssh隧道。

您使用的是SSH隧道吗？

当在任何地方添加新条目时，它对我公共ip工作。我相信它也适用于私人IP