HDFS Hadoop中的数据分布

时间:2014-08-26 13:14:52

标签: hadoop hdfs

我在Linux机器上配置了3个数据节点。在我的配置中,我将复制次数配置为1.

我正在向hdfs提交一个文件,发现该文件在每个数据节点上有3个副本(我在浏览器中查看过)

我不应该只在1个数据节点和1个副本上看到该文件吗?

2 个答案:

答案 0 :(得分:1)

在进入HDFS之前,文件将被拆分为块,您应该在每个datanode上看到每个块的一个副本。整个文件不会出现在任何datanode上。

请确保在更改hdfs-site.xml文件中的复制因子属性后重新启动了HDFS守护程序。

如果您可以发布HDFS控制台快照,那也很好。

答案 1 :(得分:0)

我怀疑dfs.replication设置为3而不是1

确保hdfs-site.xml

中的以下参数设置为1

dfs.replication:默认块复制。创建文件时,可以指定实际的复制数。如果未在创建时间

中指定复制,则使用默认值

dfs.namenode.replication.min:最小块复制。

有关详细信息,请查看documentation