如何使用Java API将数据写入HBase?

时间:2014-10-15 03:55:36

标签: hbase apache-spark

我正在尝试将Spark JavaPairRDD的内容批量加载到HBase表。

是否有一个Java代码示例?

2 个答案:

答案 0 :(得分:1)

没有太多关于如何执行此操作的示例,也没有特定的连接器。目前,您必须使用HBase默认客户端编写rdd。

Here你有一个使用聚合指标来使用火花流的hbase的例子。将其翻译成您的用例。

答案 1 :(得分:0)

我们已经将HBase的开源unicredit库用于Spark的批量加载数据。

以下是该项目的链接:link

该库为批量加载提供了一个简单的界面。它自动化了批量加载的两个步骤,即

  1. 从您的RDD创建HFile
  2. 在HBase区域加载/合并这些HFile。
  3. 以下是批量加载示例的链接:https://github.com/unicredit/hbase-rdd