hdfs日志文件太大了

Question

经过对hdfs的大量读写操作后，（我不知道导致此问题的确切操作）。 这两个文件： dncp_block_verification.log.curr， dncp_block_verification.log.prev 每个字节超过200亿字节。

对hdfs的哪些操作可能导致这些文件快速？

从互联网上我知道我可以击落hdfs并删除日志，但这不是一个好的解决方案。 如何避免这个问题？非常感谢你

Answer 1

块扫描程序是导致文件增长的原因。以下是解释行为的文章的链接：http://aosabook.org/en/hdfs.html（第8.3.5节）。

导致此问题的bug已在HDFS 2.6.0中修复

Answer 2

我的20 datanode群集遇到了类似的情况。据我所知，有几个报道称这是一个bug。我在运行HDFS 2.3.x的CDH 5.0.2中看到了这种行为。

由于两个dncp_block_verification日志，我有20个节点中的1个节点占用了所有可用空间的100％。其他节点似乎有非常典型的日志大小，我无法弄清楚为什么这个节点有问题。

我手动删除了两个文件并解决了我的问题，没有任何不良行为。不幸的是，我不知道这个问题的修复或自动解决方案。