我在Linux机器上配置了3个数据节点。在我的配置中,我将复制次数配置为1.
我正在向hdfs提交一个文件,发现该文件在每个数据节点上有3个副本(我在浏览器中查看过)
我不应该只在1个数据节点和1个副本上看到该文件吗?
答案 0 :(得分:1)
在进入HDFS之前,文件将被拆分为块,您应该在每个datanode上看到每个块的一个副本。整个文件不会出现在任何datanode上。
请确保在更改hdfs-site.xml文件中的复制因子属性后重新启动了HDFS守护程序。
如果您可以发布HDFS控制台快照,那也很好。
答案 1 :(得分:0)
我怀疑dfs.replication
设置为3
而不是1
确保hdfs-site.xml
dfs.replication
:默认块复制。创建文件时,可以指定实际的复制数。如果未在创建时间
dfs.namenode.replication.min
:最小块复制。
有关详细信息,请查看documentation。