Question

我写了一个程序，使用spark 1.6和spark-hbase-connecotr访问HBase（sbt依赖：＆＃34; it.nerdammer.bigdata＆＃34;％＆＃34; spark-hbase-connector_2.10＆＃34 ;％＆＃34; 1.0.3＆＃34;）。但是当使用spark 2时它不起作用。*。我已经搜索了这个问题，得到了一些结论：

有几个连接器用于使用spark连接hbase
- HBase的火花。 hbase-spark由HBase官方website提供。但我发现它是在scala 2.10和spark 1.6上开发的。项目的pom.xml中的属性如下：
```
<properties>
  <spark.version>1.6.0</spark.version>
  <scala.version>2.10.4</scala.version>
  <scala.binary.version>2.10</scala.binary.version>
  <top.dir>${project.basedir}/..</top.dir>
  <avro.version>1.7.6</avro.version>
  <avro.mapred.classifier></avro.mapred.classifier>
</properties>
```
- hbase-spark-connecotr：我访问他们的website并且没有关于spark 2.0的信息。 jar的名字是spark-hbase-connector_2.10，告诉我们jar是由spark 1 *使用的scala 2.10编译的。但是，当我将jar的名称更改为spark-hbase-connector_2.11（由scala 2.11编译，与spark 2相同。）时，我的IEDA（一种IDE）告诉我没有名为spark-hbase的jar- connecotr_2.11。所以不支持spark 2.。
- hortonworks-spark：我访问了他们的网站。一些评论说是不支持spark 2。*。

你知道第三方提供的任何jar有完整文件解决问题吗？我应该用什么软件包来连接hbase使用spark 2. *？我感谢您的任何建议。谢谢！

Answer 1

我选择使用newAPIHadoopRDD访问spark中的hbase

如何使用spark 2访问hbase。*

1 个答案: