我们计划在Hadoop集群中添加两个新的datanode。谷歌搜索了一天后,我仍然无法回答这个问题: 如果新数据节点上的硬盘较小,会发生什么? 这会导致HDFS的总体尺寸变小吗?
这是一个例子
Datanode1 with 1TB
Datanode2 with 1TB
Total storage = 2TB
再添加一个500GB磁盘节点
Datanode3 with 500GB
HDFS总存储量是多少? 2.5TB或1.5TB?
如果它是2.5TB(我希望如此),hadoop如何平衡不同硬盘驱动器的不同数据节点周围的存储?
答案 0 :(得分:1)
HDFS总容量为2.5 TB。现有块将按原样存在,并且一旦添加到群集,就不会移动到新节点。要将某些块从重载节点移动到已下载的节点,请使用Hadoop安装中的bin/start-balancer.sh
和bin/stop-balancer-sh
脚本。
块放置策略将确定时钟的去向。由于新节点HDD是空的,因此放入HDFS的新文件块更有可能到达那里。