重新平衡hadoop中的单个datanode

时间:2012-10-31 08:20:30

标签: hadoop hdfs

在下面的hadoop FAQ中:

http://wiki.apache.org/hadoop/FAQ#On_an_individual_data_node.2C_how_do_you_balance_the_blocks_on_the_disk.3F

他们确实为单个datanode imbalace提供了解决方案。但我仍有疑问。

假设我有2个磁盘:“/ disk1”和“/disk2”。在每个磁盘中,都有数据目录“./data".So有2个数据目录”/ disk1 / data“和”/ disk2 /data".这是一个问题:

我可以将“/ disk1 / data / current”中的块和元对移动到“/ disk2 / data / current /”吗?

2 个答案:

答案 0 :(得分:2)

是的,您可以安全地在磁盘之间移动块对(blk_X数据文件和blk_X _ * .meta CRC文件)(在父当前/ 或正确的Block-Pool ID下<任何磁盘中的em> current / 目录,但请确保在此操作时特定的DataNode已关闭。

你也可以移动整个子目录(你会发现它们从磁盘到磁盘的名称为subdirX(X是生成的数字)而没有任何顾虑,并将块从任何子目录移动到任何其他子目录 - 没有粘性只要DataNode关闭,就可以担心。

答案 1 :(得分:1)

将成为HDFS与Hadoop 3的一部分: