Question

我想使用连接到其余服务器的node-hbase模块将HBase表中的记录转换为Node.JS代码。但是在第一批之后我无法获得下一组记录。所以我的最终计数是1000（这是批量大小）。但实际尺寸超过7000。

var hbase = require('hbase');
var client = hbase({ host: 'localhost', port: '17001', headers: { 'Connection': 'Keep-Alive' } });

var scanner = client
                .table(tblName)
                .scan({});
var rows = [];
scanner.on('readable', function(){
    var chunk;
    //_results = [];
    while (chunk = scanner.read()) {
        rows.push(chunk);
    }        
    });
scanner.on('error', function(err) {
    console.error(err);
    });
scanner.on('end', function(){
    console.log(rows.length); 
    })

Answer 1

关于扫描仪的选项：https://hbase.js.org/api/scanner/

batch
Number of cells returned on each iteration, internal use, default to "1000".

您可以设置

const scanner = client
.table('node_table')
.scan({
  ...
   batch: 100000
  ...
})

或者您可以检查服务器上的限制内存！

Node.JS - node-hbase扫描不能处理超过1000条记录

1 个答案: