我正在使用SSH在远程集群上部署hadoop 2.6.3集群模式。
在线跟踪这些教程,除了从本地机器访问web ui外,一切正常。
例如,资源管理器web ui地址为http://namenode01-bi-dev/:8050。我的本地计算机无法重新启动 namenode01-bi-dev ,因此我必须手动输入ip addreess。这是有道理的,因为namenode和datanode主机名仅在hadoop集群中的/ etc / hosts上配置。
在资源管理器web ui中,指向其他web ui的每个链接(如datanode web ui)都以相应的主机名开头,而本地机器无法解析该主机名。
目前,我只能通过将所有ip / hostname绑定添加到本地/ etc / hosts来解决这个问题。
我试图将所有主机名设置为与相应的IP相同但这给了我以下错误:
org.apache.hadoop.hdfs.server.protocol.DisallowedDatanodeException:
Datanode denied communication with namenode because hostname cannot be
resolved (ip=10.104.90.43, hostname=10.104.90.43):
我还尝试使用IP地址而不是主机名在yarn-site.xml上设置这些web ui地址。但是web ui地址仍然以主机名开头。
另外,我尝试使用 hostname 命令将namenode和datanode的主机名更改为其IP地址。但这也不起作用。
我是否可以在hadoop群集上执行或配置其他任何内容,以便它使用的web ui地址不是以主机名开头,而是真正的IP地址?