hdfs fsck显示错误的复制因子

时间:2015-01-04 15:43:03

标签: hadoop hdfs

我刚开始使用Hadoop并且一直在玩它。 我google了一下,发现我必须更改hdfs-site.xml中的属性 改变默认的复制因子......这就是我所做的,说实话 奇迹般有效。当我添加新文件时,它们将自动被复制 新的复制因子。但是,当我做类似的事情时:

hdfs fsck /

然后输出说默认复制是1.我可能只是迂腐。 但我宁愿把它修好......或者我应该说。我一直在依赖那个输出,因此我花了很长时间才意识到没有任何错误...或者可能在那里 有什么不对吗?有人可以帮助解释那个fsck输出。

..Status: HEALTHY
 Total size:    1375000000 B
 Total dirs:    1
 Total files:   2
 Total symlinks:        0
 Total blocks (validated):  12 (avg. block size 114583333 B)
 Minimally replicated blocks:   12 (100.0 %)
 Over-replicated blocks:    0 (0.0 %)
 Under-replicated blocks:   0 (0.0 %)
 Mis-replicated blocks:     0 (0.0 %)
 Default replication factor:    1
 Average block replication: 2.0
 Corrupt blocks:        0
 Missing replicas:      0 (0.0 %)
 Number of data-nodes:      4
 Number of racks:       1

1 个答案:

答案 0 :(得分:1)

有时,Hadoop会使用客户端计算机上的.xml中的信息以及有时在各种服务器计算机上响应查询。确保hdfs-site.xml文件在数据节点,客户机节点(运行hdfs的位置)和名称节点上具有相同的值。我为配置文件维护了一个中央存储库(根据每个节点的细节进行了定制),并在它们发生变化时全局推送它们。