Spark on Hbase Jars

时间:2017-09-20 00:52:54

标签: apache-spark hbase cloudera apache-spark-2.0

我正在尝试运行SparkOnHbase的示例,如此处所述 - > Spark On Hbase

但我只是想在我的本地Windows机器上编译和运行代码。 我的build.sbt片段在

下面
scalaVersion := "2.11.8"

libraryDependencies +="org.apache.spark" % "spark-core_2.11" % "2.1.0"
libraryDependencies += "com.typesafe" % "config" % "1.3.1"
libraryDependencies += "org.apache.hbase" % "hbase-client" % "1.3.1"
libraryDependencies += "org.apache.hbase" % "hbase-server" % "1.3.1"
libraryDependencies += "org.apache.hbase" % "hbase-common" % "1.3.1"

正如链接中所提到的,我只是想把这段代码:

val hbaseContext = new HBaseContext(sc, config)
rdd.hbaseBulkDelete(hbaseContext,
                  tableName,
                  putRecord => new Delete(putRecord),
                  4)

但我甚至没有获得HbaseContext。我不知道要导入哪个包

1 个答案:

答案 0 :(得分:0)

我使用Maven,但依赖应该是相同的。我假设你错过了这种依赖:

<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-spark</artifactId>
<version>1.2.0-cdh5.7.0</version>
</dependency>