Hadoop名称节点和日志节点自动占用磁盘空间

时间:2013-11-22 13:20:32

标签: hadoop hbase cloudera apache-zookeeper cloudera-manager

我是hadoop的新手。

我已经在5台服务器上使用Cloudera(正常安装)安装了我的hbase设置。我创建了一些表并填充了一些数据。

现在我监控了hdfs文件夹大小。我可以看到数据节点保持一致的读数。但是我的namenode和日志节点磁盘使用量在每次检查时都在增加。

虽然我有少量数据,但是日志节点和名称节点增加了30MB(大约)/天。

我在配置中遗漏了什么?

1 个答案:

答案 0 :(得分:1)

经过一些研究后我发现了问题,为什么不清除编辑日志。 它是hadoop中的一个场景。

  

* dfs.namenode.num.extra.edits.retained = 1000000.

这是默认值集。 Reference