我启动了Dataproc群集，但在端口4040上使用Web UI时出现问题。首先，我展示了spark-shell显示的IP和端口。然后，当我在Spark UI端口上输入URL时，我会显示302错误代码。
wilsonbill522 @ cluster-db78-m：〜$ spark-shell 将默认日志级别设置为“WARN”。 要调整日志记录级别，请使用sc.setLogLevel（newLevel）。对于SparkR，请使用setLogLevel（newLevel）。 在HIVE_HOME或HIVE_CONF_DIR中找不到ivysettings.xml文件，将使用/ etc / hive / conf.dist / ivysettings.xml 可在http://10.128.0.2:4040
处使用Spark上下文Web UI
使用wget到端口4040，我得到除了“jobs”URL之外的每个URL的HTTP代码302的响应 例如：
wget http://10.128.0.2:4040/proxy/application_1505052986245_0002/static/timeline-view.js
不幸的是我无法发布输出，因为stackoverflow决定我发布链接。但上述命令的结果是HTTP 302响应代码。
以上wget在不同ssh会话中的主节点上执行。 302响应重定向到“作业”URL（我不能在这里拼出实际的URL，因为它会在链接上触发一些限制堆栈溢出位置），这没有任何意义。
答案 0 :(得分：1)
看起来Spark Web UI正在格式化所有相对于YARN资源管理器代理的URL，但是它使用了错误的主机/端口来显示它的某些部分（具体是火花中显示的内容） -shell输出）。我猜这是在YARN客户端模式下运行的工件，但还不确定。
如Dennis Huo所述，您可以通过端口8088上的YARN RM代理访问重定向的URL。