我们正在尝试使用Spark读取HBASE表。我想要的是获取过滤的数据,即以行键'ABC'等开头的示例行,而不是HBASE表中的完整数据。有没有办法做到这一点?
当前,我的spark作业将整个表读入数据帧df,PFB中的代码段。 但是我不想检索所有行。有没有一种方法可以将sql查询向下发送到源Hbase表,以便它仅返回满足查询条件的那些记录。 (例如:从hbase_table中选择*,其中rowkey> 123);
DataFrame df = optionsMap.put("hbase.table", this.props.getProperty ("table_name"));
optionsMap.put("hbase.columns.mapping",getColumnMapping());
optionsMap.put("hbase.push.down.column.filter", "false");
return sqlc.read().options(optionsMap).format ("org.apache.hadoop.hbase.spark").load();