Question

我正在使用hbase96进行分析。我通过定义startRow和endRow在行键范围上应用单列值过滤器从hbase获取数据。

单个请求扫描1500000条记录需要5-6分钟。它不处理并发请求如何提高hbase扫描的性能？

我们在amazone上有3个数据节点和2个主节点。

下面是我的代码

Scan s = new Scan();
s.setCaching(10000);

s.setStartRow(Bytes.toBytes(start_date));
s.setStopRow(Bytes.toBytes(end_date));

FilterList filters = new FilterList(FilterList.Operator.MUST_PASS_ALL);

SingleColumnValueFilter filter = new SingleColumnValueFilter(
Bytes.toBytes("log"), Bytes.toBytes("ad_id"),
CompareOp.EQUAL, Bytes.toBytes(ad_id));
filters.addFilter(filter);

SingleColumnValueFilter filter = new SingleColumnValueFilter(
Bytes.toBytes("log"), Bytes.toBytes("advertiser_id"),
CompareOp.EQUAL, Bytes.toBytes(adver_id));
filters.addFilter(filter);

s.setFilter(filters);

ResultScanner rs = click_table.getScanner(s);

如何在coproccessor中使用上述代码？

Answer 1

如果要根据列值进行扫描那么下面是最好的方式

Solr（CDH搜索）https://wiki.apache.org/solr/
Hindex（基于协处理器的方法）https://communities.intel.com/community/itpeernetwork/datastack/blog/2013/10/30/coprocessor-based-secondary-index-on-hbase

Answer 2

在执行查询时尝试设置scan.setCaching(100000)。它指定每个RPC将传输到regionserver的行数。

修改：此外，请尝试根据您的网络带宽设置batch and buffer sizes。每个应用程序都有不同的结构，需要不同的调整参数。尝试调整数据的这些值。

如果性能仍然相同，请尝试使用并行获取数据。 This可能有帮助。

HTH

如何提高hbase的扫描性能？

2 个答案: