重新平衡Apache Hadoop中数据节点内的磁盘

时间:2018-09-06 03:15:04

标签: hadoop hdfs

我有一个Apache Hadoop集群。节点之一面临偏斜的数据分布。本机有3个磁盘。磁盘1分别占86%,磁盘2 30%和磁盘3 60%。现在,如果数据在DataNode的磁盘之间分布不均,该怎么办? 附注:我想通知您,存储类型不一样,因此,我无法遵循HDFS-1312。另外,我的Hadoop版本是2.5.0。 有什么帮助吗? enter image description here

1 个答案:

答案 0 :(得分:0)

节点内平衡器是在Hadoop3中引入的。

我不确定是否有一种不用自己移动文件的替代方法,即使它认为namenode仅跟踪数据节点,而不跟踪数据量,也可能会有风险