参考我的另一个问题“从Spark Streaming写入HBase”,我被建议关注https://www.mapr.com/blog/spark-streaming-hbase以便从Spark Streaming写入HBase,这就是我所做的(根据我的需要进行修改),当运行Spark-submit时,没有错误,但是数据也没有写入HBase,如果你能找出我做错了什么以及如何纠正它,我会告诉你代码:
val conf = HBaseConfiguration.create()
val jobConfig: JobConf = new JobConf(conf)
jobConfig.setOutputFormat(classOf[TableOutputFormat])
jobConfig.set(TableOutputFormat.OUTPUT_TABLE, "tabName")
Dstream.foreachRDD(rdd =>
rdd.map(Convert.toPut).saveAsHadoopDataset(jobConfig))
with:
object Convert{
def toPut (parametre: (String,String)): (ImmutableBytesWritable, Put) = {
val put = new Put(Bytes.toBytes(1))
put.add(Bytes.toBytes("colfamily"), Bytes.toBytes(parametre._1), Bytes.toBytes(parametre._2))
return (new ImmutableBytesWritable(Bytes.toBytes(1)), put)
}
你能帮我看看我在这里做错了什么吗?
提前谢谢