我们是否需要格式化HDFS文件系统的datanode还是只需要格式化namenode

时间:2019-01-14 17:26:28

标签: hadoop hdfs namenode datanode

在设置伪集群或完整集群时,我们需要格式化数据节点以安装HDFS文件系统还是只需要格式化namenode。

我之所以这样问是因为,我在许多博客上都读到过,HDFS将数据按顺序存储在硬盘上,它是一个抽象层,将数据存储在大块上,而不是默认的块大小存储提供的主机文件系统。

如果我们不格式化datanode,那么HDFS的强大功能就折腾了。

1 个答案:

答案 0 :(得分:1)

格式化和安装硬盘驱动器与格式化HDFS没有直接关系。从概念上讲,“格式化”的思想是相同的。但是,这两个任务是完全分开的,没有直接关系。

hadoop format命令不会格式化或装入硬盘驱动器。硬盘驱动器应该已经格式化并挂载。当您为HDFS运行format命令时,它将准备NameNode fsimage文件,以便它知道所有存储块在数据磁盘上的位置。