我创建了一个Google dataproc群集。登录到主节点后,我启动了spark-shell,然后尝试使用
访问spark历史页面http://<external_ip_masternode>:4040
它被重定向到
http://<hostname_mastername>:8088/proxy/application_1487485713573_0002/
浏览器拒绝错误&#34;无法找到DNS地址。&#34;这是可以理解的。
以下是VM实例设置
公共IP类型Ephermal tcp:4040在防火墙中打开 ip forwarding Off:无法编辑此配置
完成故障排除但没有帮助
Telnet to:4040 - &gt;工作
从Ubantu主机/浏览器访问Chrome:重定向和名称查找失败
从Ubantu主机/浏览器访问Firefox:重定向和名称查找失败
从Mac OSX主机/浏览器访问Safari:重定向和名称查找失败
从Mac OSX主机/浏览器Chrome访问:重定向和名称查找失败
答案 0 :(得分:0)
要在Dataproc中查看Hadoop Web界面,建议按照运行基于SSH的SOCKS代理的说明进行操作:https://cloud.google.com/dataproc/docs/concepts/cluster-web-interfaces
如果您按照那里的说明进行操作,它还会让您使用SSH隧道运行单独的浏览器会话,并将主机名解析设置为在隧道的VM端进行。这样,Hadoop页面中的所有链接都将自动生效,因为它们都使用内部主机名相互引用,并故意避免依赖外部IP地址&#34;。
使用SSH隧道比打开防火墙规则来访问直接来自Hadoop HTTP服务器的未加密的HTTP流量要安全得多(如果您不小心打开防火墙规则,那么互联网上的其他人将会是能够访问您的外部IP地址,即使您没有,攻击者也可以看到ApplicationMaster,HistoryServer等提供的未加密的Web流量。)