我有两台服务器hadoop一台是namenode,另一台是二级namenode。 两者都是datanode,目前当我想使用namenode 8020的端口读取文件时,它可以工作,但是所有的网络负载都转到那个节点,是否有办法划分网络负载以利用两台服务器?
感谢您的帮助
答案 0 :(得分:1)
根据您的情况,您无能为力。 Namenode HA存在,但它更多是活动/备用而不是分布式。最接近您想要的是federation
,但对于10K节点而不是2个节点的情况更是如此。
您可以在此处详细了解:
答案 1 :(得分:1)
这里可以提供一些帮助:
永远不建议在与节点名相同的节点上安装数据节点。
如果您的文件存储在也是主要名称节点的datanode上,则所有网络流量都将到达该节点。您要求该节点(作为namenode)查找该文件,然后从同一节点(作为datanode)返回该文件。
如果你有更多的服务器,这个问题就会消失。