我刚开始使用Hadoop并且一直在玩它。 我google了一下,发现我必须更改hdfs-site.xml中的属性 改变默认的复制因子......这就是我所做的,说实话 奇迹般有效。当我添加新文件时,它们将自动被复制 新的复制因子。但是,当我做类似的事情时:
hdfs fsck /
然后输出说默认复制是1.我可能只是迂腐。 但我宁愿把它修好......或者我应该说。我一直在依赖那个输出,因此我花了很长时间才意识到没有任何错误...或者可能在那里 有什么不对吗?有人可以帮助解释那个fsck输出。
..Status: HEALTHY
Total size: 1375000000 B
Total dirs: 1
Total files: 2
Total symlinks: 0
Total blocks (validated): 12 (avg. block size 114583333 B)
Minimally replicated blocks: 12 (100.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 0 (0.0 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 1
Average block replication: 2.0
Corrupt blocks: 0
Missing replicas: 0 (0.0 %)
Number of data-nodes: 4
Number of racks: 1
答案 0 :(得分:1)
有时,Hadoop会使用客户端计算机上的.xml中的信息以及有时在各种服务器计算机上响应查询。确保hdfs-site.xml文件在数据节点,客户机节点(运行hdfs的位置)和名称节点上具有相同的值。我为配置文件维护了一个中央存储库(根据每个节点的细节进行了定制),并在它们发生变化时全局推送它们。