如何从Spark Streaming写入HBase

时间:2016-04-07 11:45:53

标签: apache-spark hbase spark-streaming

参考我的另一个问题“从Spark Streaming写入HBase”,我被建议关注https://www.mapr.com/blog/spark-streaming-hbase以便从Spark Streaming写入HBase,这就是我所做的(根据我的需要进行修改),当运行Spark-submit时,没有错误,但是数据也没有写入HBase,如果你能找出我做错了什么以及如何纠正它,我会告诉你代码:

val conf = HBaseConfiguration.create()
    val jobConfig: JobConf = new JobConf(conf)
    jobConfig.setOutputFormat(classOf[TableOutputFormat])
    jobConfig.set(TableOutputFormat.OUTPUT_TABLE, "tabName")
Dstream.foreachRDD(rdd =>
            rdd.map(Convert.toPut).saveAsHadoopDataset(jobConfig))

with:

object Convert{
  def toPut (parametre: (String,String)): (ImmutableBytesWritable, Put) = {
    val put = new Put(Bytes.toBytes(1))
    put.add(Bytes.toBytes("colfamily"), Bytes.toBytes(parametre._1), Bytes.toBytes(parametre._2))
    return (new ImmutableBytesWritable(Bytes.toBytes(1)), put)
  }
你能帮我看看我在这里做错了什么吗? 提前谢谢

0 个答案:

没有答案