使用Spark-Hbase进行谓词下推

时间:2018-09-14 05:14:53

标签: apache-spark-sql hbase

我们正在尝试使用Spark读取HBASE表。我想要的是获取过滤的数据,即以行键'ABC'等开头的示例行,而不是HBASE表中的完整数据。有没有办法做到这一点?

当前,我的spark作业将整个表读入数据帧df,PFB中的代码段。 但是我不想检索所有行。有没有一种方法可以将sql查询向下发送到源Hbase表,以便它仅返回满足查询条件的那些记录。 (例如:从hbase_table中选择*,其中rowkey> 123);

DataFrame df = optionsMap.put("hbase.table", this.props.getProperty    ("table_name"));
    optionsMap.put("hbase.columns.mapping",getColumnMapping());
    optionsMap.put("hbase.push.down.column.filter", "false");
    return sqlc.read().options(optionsMap).format    ("org.apache.hadoop.hbase.spark").load();

0 个答案:

没有答案