如何在HBase表中从多行创建单个RDD?

时间:2015-11-09 13:21:16

标签: apache-spark hbase

从HBase表中获取多行到RDD的最有效方法是什么?

目前我读了所有的表格,并使用我要保留的行键列表过滤了我的RDD。

val conf = HBaseConf.hbaseConf
conf.set(TableInputFormat.INPUT_TABLE, table)

val hBaseRDD = ss.sparkContext.newAPIHadoopRDD(
  conf,
  classOf[TableInputFormat],
  classOf[ImmutableBytesWritable],
  classOf[Result])

hBaseRDD.map { case (writable, res) =>
  ...
}.filter(...)

0 个答案:

没有答案