使用Java / Scala程序计算HBase中记录数的最快方法是什么

时间:2017-07-27 11:19:28

标签: java scala hbase

我有多个HBase表。每张表都有数百万条记录。计算记录数的最佳或最快方法是什么。通过以下程序,我将得到计数,但我想要一些最快的方法来计算记录。

def getTotalRecords(connection: Connection, tableName: String): Long = {
    val startTime = System.currentTimeMillis();
    val table = connection.getTable(TableName.valueOf(Bytes.toBytes(tableName)))
    var resultScanner: ResultScanner = table.getScanner(new Scan());
    var count: Long = 0;
    while (resultScanner.next() != null) {
      count = count + 1;
    }
    val endTime = System.currentTimeMillis();
    val timeDiff = endTime - startTime
    println(s"$tableName - Time taken $timeDiff")
    count
  }

0 个答案:

没有答案