dncp_block_verification日志文件增加了HDFS的大小

时间:2015-07-09 06:56:05

标签: hadoop hdfs cloudera cloudera-cdh cloudera-manager

我们正在使用cloudera CDH 5.3。我遇到的问题是" /dfs/dn/current/Bp-12345-IpAddress-123456789/dncp-block-verification.log.curr"和" dncp-vlock-verification.log.prev"在几小时内不断增加到结核病。我读了一些博客,他们提到这是一个HDFS错误。此问题的临时解决方案是停止datanode服务并删除这些文件。但是我们观察到日志文件在任一数据节点上都增加了(即使在删除它之后也在同一节点上)。因此,它需要持续监控。

有没有人有这个问题的永久解决方案?

1 个答案:

答案 0 :(得分:1)

一个解决方案,虽然略显激烈,但是通过将密钥dfs.datanode.scan.period.hours设置为0(默认为504小时),将HDFS DataNode配置设置为HDFS DataNode配置,完全禁用块扫描程序。这样做的负面影响是您的DN可能无法自动检测损坏的块文件(并且需要等待将来的块读取客户端来检测它们);如果您的平均复制数为3-ish,这不是什么大问题,但您可以将此更改视为短期更改,直到您升级到修复此问题的版本。

请注意,如果升级到最新的CDH 5.4.x或更高版本,则不会发生此问题,其中包括HDFS-7430重写更改和相关的错误修复。这些更改已经废除了使用这样的本地文件,从而消除了这个问题。