Question

我正在尝试运行SparkOnHbase的示例，如此处所述 - ＆gt; Spark On Hbase

但我只是想在我的本地Windows机器上编译和运行代码。我的build.sbt片段在

下面

scalaVersion := "2.11.8"

libraryDependencies +="org.apache.spark" % "spark-core_2.11" % "2.1.0"
libraryDependencies += "com.typesafe" % "config" % "1.3.1"
libraryDependencies += "org.apache.hbase" % "hbase-client" % "1.3.1"
libraryDependencies += "org.apache.hbase" % "hbase-server" % "1.3.1"
libraryDependencies += "org.apache.hbase" % "hbase-common" % "1.3.1"

正如链接中所提到的，我只是想把这段代码：

val hbaseContext = new HBaseContext(sc, config)
rdd.hbaseBulkDelete(hbaseContext,
                  tableName,
                  putRecord => new Delete(putRecord),
                  4)

但我甚至没有获得HbaseContext。我不知道要导入哪个包

Answer 1

我使用Maven，但依赖应该是相同的。我假设你错过了这种依赖：

<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-spark</artifactId>
<version>1.2.0-cdh5.7.0</version>
</dependency>

Spark on Hbase Jars

1 个答案: