Cloudera Manager - HDFS Under-Replicated Blocks

Question

我使用全新安装的CDH 5.5.2。在Cloudera Manager我看到，HDFS存在严重的健康问题。我在群集中有1 NameNode和1 DataNode。

  

复制不足块

  

578在群集中的复制块下。总共580个街区   簇。复制块下的百分比：99.66％。危急   门槛：40.00％

我该如何解决这个问题？

更新：Cloudera Manager(CDH 5.0.2) -> HDFS -> Configuration -> View and Edit -> Service-Wide -> Replication -> Replication Factor (dfs.replication) -> 1在这种情况下不起作用。

Answer 1

新的复制因子仅影响新文件。更改在shell中运行的现有文件的复制因子（在具有hadoop入口点的节点上）

hadoop fs -setrep -w <replication factor> -R /

但是，只有“hdfs”可以写入/（“hdfs”是超级用户，而不是“root”）。所以，你可能需要使用这个命令：

sudo -u hdfs hadoop fs -setrep -w <replication factor> -R /

Answer 2

要检查的一些事项：

• namenode可能正在运行过期配置。如果是这样，请重新启动namenode以确保它在cloudera manager中显示的当前配置下运行。
• 有时候cloudera代理也需要重新启动才能正确生成配置
• 如果不起作用，请运行hadoop fsck /|egrep -v '^\.+$'|grep -i replica
• 找出受影响的文件并验证复制因子是否设置为1，因为您只有一个datanode
  • 您可以通过运行hadoop fs -ls /path/to/file.txt检查文件的复制因子，然后查看输出中第2列中的数字

注意： 请务必将HDFS网关角色添加到要从中运行hadoop命令的服务器。

另外考虑将cloudera manager升级到5.5.1 - 你的版本是一个非常早期的版本，从那时起他们就做了一些改变。