具有一个活动名称节点低性能的HA群集

时间:2017-07-03 13:10:15

标签: hadoop

使用hadoop apache 2.7.1和ha cluster

当我关闭活动名称节点时,独立名称节点变为活动状态 这是正常情况

但问题是具有一个活动名称节点的群集的性能下降(操作变慢)

我不认为当一个名称节点仅处于活动状态时,ha hadoop集群性能应该受到影响

我意识到当前活动的namenode日志显示了尝试连接到以前的活动关闭名称节点

的操作
Retrying connect to server: mn2/192.168.25.22:8485. Already tried 0 time(s); maxRetries=5

我试图减少核心站点中的以下属性

<property>
                <name>ipc.client.connect.max.retries.on.timeouts</name>
                <value>5</value>
        </property>
        <property>
                <name>ipc.client.connect.timeout</name>
                <value>1000</value>
        </property>

但它们对我应编辑的属性没有影响,以便让当前活动名称节点放弃连接到关闭名称节点

因为当我再次启动以前的名称节点时尚未启动任何服务 当前活动名称节点停止尝试连接到以前的活动名称节点 并且由于有两个名称节点,集群的性能再次提高 即使我们只有一个活动名称节点

1 个答案:

答案 0 :(得分:0)

您的帖子中没有提到您使用哪种工具实现高可用性。您似乎在两个名称节点之间使用编辑共享方法来实现高可用性并且正在发生“裂脑综合症”问题。

您能否尝试一些其他工具,如apache Zookeeper(或您选择的任何其他工具)来实现高可用性?

请注意 - 如果您使用上述工具,那么您的法定人数应该占多数。这意味着活动名称节点的数量应该是赔率(3,5,7等)。