Question

我正在寻找一个HBase shell命令，它将计算指定列族中的记录数。我知道我可以跑：

echo "scan 'table_name'" | hbase shell | grep column_family_name | wc -l

然而，这将比标准计数命令慢得多：

count 'table_name' , CACHE => 50000 (because the use of the CACHE=>50000)

更糟糕的是 - 它不返回实际的记录数，而是返回指定列族中的单元格总数（如果我没有记错？）。我需要这样的东西：

count 'table_name' , CACHE => 50000 , {COLUMNS => 'column_family_name'}

提前致谢，
迈克尔

Answer 1

这是我在需要的时候编写的Ruby代码。提供适当的评论。它为您提供了HBase shell count_table命令。第一个参数是表名，第二个是属性数组，与scan shell命令相同。

直接回答你的问题是

count_table 'your.table', { COLUMNS => 'your.family' }

我还建议添加缓存，例如扫描：

count_table 'your.table', { COLUMNS => 'your.family', CACHE => 10000 }

在这里你可以找到消息来源：

# Argiments are the same as for scan command.
# Examples:
#
# count_table 'test.table', { COLUMNS => 'f:c1' }
# --- Counts f:c1 columsn in 'test_table'.
#
# count_table 'other.table', { COLUMNS => 'f' }
# --- Counts 'f' family rows in 'other.table'.
#
# count_table 'test.table', { CACHE => 1000 }
# --- Count rows with caching.
#
def count_table(tablename, args = {})

    table = @shell.hbase_table(tablename)

    # Run the scanner
    scanner = table._get_scanner(args)

    count = 0
    iter = scanner.iterator

    # Iterate results
    while iter.hasNext
        row = iter.next
        count += 1
    end

    # Return the counter
    return count
end

计算HBase表中列族中的记录数

1 个答案: