如果我在伪分布模式集群上将复制因子设置为3会发生什么?

时间:2015-09-27 19:06:50

标签: hadoop replication

我尝试将复制更改为3,我可以看到我加载到hdfs的文件的复制更改为3,但我看不到其他2个副本。有人可以回答在这种情况下发生的情况。

2 个答案:

答案 0 :(得分:0)

您不会看到任何副本看到您没有其他节点来创建它们。无法在同一节点中创建副本。但是在您的NameNode中,您会看到Number of Under-Replicated Blocks指标与零不同。如果您在群集中进一步附加新数据节点,则未完成复制的块应自动启动复制(显然这意味着要配置完整群集而不是伪群集)。

您可以在名称节点web ui中查看Number of Under-Replicated Blocks指标:http://localhost:50070/dfshealth.html#tab-overview(默认情况下,在伪群集配置中)。

答案 1 :(得分:0)

建议将dfs.replication设置为" 1"否则在运行单个datanode或伪分布模式时,HDFS无法将块复制到指定数量的datanode,它会发出警告关于块不足的重复