如何在hadoop HDFS中分割网络负载

时间:2018-03-07 15:21:02

标签: hadoop networking hdfs namenode

我有两台服务器hadoop一台是namenode,另一台是二级namenode。 两者都是datanode,目前当我想使用namenode 8020的端口读取文件时,它可以工作,但是所有的网络负载都转到那个节点,是否有办法划分网络负载以利用两台服务器?

感谢您的帮助

2 个答案:

答案 0 :(得分:1)

根据您的情况,您无能为力。 Namenode HA存在,但它更多是活动/备用而不是分布式。最接近您想要的是federation,但对于10K节点而不是2个节点的情况更是如此。

您可以在此处详细了解:

答案 1 :(得分:1)

这里可以提供一些帮助:

  1. 永远不建议在与节点名相同的节点上安装数据节点。

  2. 如果您的文件存储在也是主要名称节点的datanode上,则所有网络流量都将到达该节点。您要求该节点(作为namenode)查找该文件,然后从同一节点(作为datanode)返回该文件。

  3. 如果你有更多的服务器,这个问题就会消失。