我有一个Apache Hadoop集群。节点之一面临偏斜的数据分布。本机有3个磁盘。磁盘1分别占86%,磁盘2 30%和磁盘3 60%。现在,如果数据在DataNode的磁盘之间分布不均,该怎么办? 附注:我想通知您,存储类型不一样,因此,我无法遵循HDFS-1312。另外,我的Hadoop版本是2.5.0。 有什么帮助吗?
答案 0 :(得分:0)
节点内平衡器是在Hadoop3中引入的。
我不确定是否有一种不用自己移动文件的替代方法,即使它认为namenode仅跟踪数据节点,而不跟踪数据量,也可能会有风险