HBase FuzzyRowFilter不返回任何结果

时间:2016-12-08 10:57:10

标签: java macos scala hbase

我很难让HBase FuzzyRowFilter工作。

我有以下测试表:

hbase(main):014:0> scan 'test'
ROW                                  COLUMN+CELL
 row-01                              column=colfam1:col1, timestamp=1481193793338, value=value1
 row-02                              column=colfam1:col1, timestamp=1481193799186, value=value2
 row-03                              column=colfam1:col1, timestamp=1481193803941, value=value3
 row-04                              column=colfam1:col1, timestamp=1481193808209, value=value4
 row-05                              column=colfam1:col1, timestamp=1481193812737, value=value5
5 row(s) in 0.0200 seconds

这是我的Java代码(我从Scala开始,但结果是相同的 - 没有):

    Configuration conf = HBaseConfiguration.create();
    conf.set("hbase.zookeeper.quorum", "localhost:2182");
    conf.set("hbase.master", "localhost:60000");
    conf.set("hbase.rootdir", "/hbase");


    try {
        Scan scan = new Scan();
        scan.setCaching(5);

        byte[] rowKeys = Bytes.toBytesBinary("???-01");
        byte[] fuzzyInfo = {0x01,0x01,0x01,0x00,0x00,0x00};
        FuzzyRowFilter fuzzyFilter = new FuzzyRowFilter(
                Arrays.asList(
                        new Pair<byte[], byte[]>(
                                rowKeys,
                                fuzzyInfo)));

        System.out.println("### fuzzyFilter: " + fuzzyFilter.toString());

        scan.addFamily(Bytes.toBytesBinary("colfam1"));
        scan.setStartRow(Bytes.toBytesBinary("row-01"));
        scan.setStopRow(Bytes.toBytesBinary("row-05"));
        scan.setFilter(fuzzyFilter);

        Connection conn = ConnectionFactory.createConnection(conf);
        Table table = conn.getTable(TableName.valueOf("test"));
        ResultScanner results = table.getScanner(scan);

        int count = 0;
        int limit = 100;
        for ( Result r : results ) {
            System.out.println("" + r.toString());
            if (count++ >= limit) break;
        }

    } catch (Exception e) {
        e.printStackTrace();
    }

我根本没有从服务器获得任何结果。如果我注释掉scan.setFilter(fuzzyFilter);行,我会得到结果:

keyvalues={row-01/colfam1:col1/1481193793338/Put/vlen=6/seqid=0}
keyvalues={row-02/colfam1:col1/1481193799186/Put/vlen=6/seqid=0}
keyvalues={row-03/colfam1:col1/1481193803941/Put/vlen=6/seqid=0}
keyvalues={row-04/colfam1:col1/1481193808209/Put/vlen=6/seqid=0}

我做错了吗? HBase(版本1.2.2)中是否有错误?我在最新的Mac OS Sierra上使用通过Homebrew安装的版本。

更新

在运行CDH 5.7和HBase 1.2.0-cdh5.7.0的Cloudera Hadoop集群上,我获得了rowkey row-01的所需输出。该错误必须以某种方式与我的本地设置相关。

解决方案

确实,问题是HBase服务器安装和客户端JAR版本不匹配。就我而言,我正在使用工件

  • HBase的共用
  • HBase的客户端
  • HBase的服务器

版本1.2.0-cdh5.7.0而不是1.2.2

我的错误是假设次要版本差异不会产生很大影响,但显然Cloudera在官方代码库方面对其版本进行了一些重大更改。更改为正式版1.2.2使FuzzyRowFilter按预期工作。

1 个答案:

答案 0 :(得分:2)

它应该只打印row-01的rowkey,因为可以从过滤条件中感知到。 没有这样的错误,它会按预期工作,因为我已经使用了一段时间了。 检查您的配置,依赖关系等。 由于版本控制,很多时候库和它们的客户端不兼容。 让我们举一个简单的例子:

class ServerVersionA {
public static void getData() {
    return DataOject(data with headerVersionA);
}

}

class ClientVersionB {
public void showData() {
    DataObject dataObject = makeRequest(params);
    //Check whether data recieved is of version B after veryfying header                                         boolean status=validate(dataObject);
    if (status) {
        doIO(dataObject);
    }
}

}

在这种情况下,如果标头不匹配,客户端只会闲置。 这些问题大部分都得到了解决,但有时却会蔓延开来。 如果我们查看安装源和客户端版本,我们可以找出没有返回数据的原因,也没有传播异常。