我使用的是HDFS + HBASE。我创建了一个数据库并运行了2个小时的测试。我想在测试运行后检查数据库大小的增加。 我试图使用以下方法读取读数:
hadoop dfsadmin -report and
hadoop fs -dus /hbase.
还尝试使用
检查磁盘大小du -sk /HADOOP.
观察是在测试运行后,尺寸显示减少而不是增加。
正在使用的版本:Hadoop 1.0.0,HBase 0.90.5,ZooKeeper 3.3.4。
列族的压缩是无。
请帮助您获得正确的过程来计算因测试而导致的DB大小增加。
答案 0 :(得分:0)
Lakshmi,650K对于HBase / Hadoop来说没什么。默认启动块大小为128M(如果我没有错过一些重大更改),因此在创建表后您不应该看到任何重要内容。实际上,您的表(HStore文件)应位于/hbase/<table-name>
下,区域内容位于/hbase/<table-name>/<region>
下(您可以通过HBase Web UI检查区域信息)。
如果您确实需要检查某些内容,请加载至少128M以上的数据。我通常至少做4G DB来测试区域分配。当前默认值(从HBase 0.94开始)区域拆分策略从填充的第一个128M开始拆分区域,然后它越来越少发生。