Spark:如何使用HBase过滤器,例如python-api的QualiferFilter

时间:2016-08-22 08:32:39

标签: python apache-spark hbase pyspark

我希望通过在python-api上使用像QualiferFilter这样的过滤器来获取HBase中的行 我知道从代码下获取HBase行的方法。

host = 'localhost'
keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter"
valueConv = "org.apache.spark.examples.pythonconverters.HBaseResultToStringConverter"
conf = {"hbase.zookeeper.quorum": host, "hbase.mapreduce.inputtable": "user",
                "hbase.mapreduce.scan.columns": "u:uid",
                "hbase.mapreduce.scan.row.start": "1", "hbase.mapreduce.scan.row.stop": "100"}
rdd = sc.newAPIHadoopRDD("org.apache.hadoop.hbase.mapreduce.TableInputFormat",
                             "org.apache.hadoop.hbase.io.ImmutableBytesWritable",
                         "org.apache.hadoop.hbase.client.Result",
                         keyConverter=keyConv, valueConverter=valueConv, conf=conf)

但是,我也希望通过使用过滤器来获取行 我需要添加什么类型的代码?

0 个答案:

没有答案