Question

我想使用hbase hortonworks连接器。 github guide

但我不知道如何在我的项目中导入它。我有以下build.sbt：

name := "project"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies ++= Seq(
  "org.apache.spark" % "spark-core_2.11" % "2.2.0",
  "org.apache.spark" % "spark-sql_2.11" % "2.2.0",
  "org.scala-lang" % "scala-compiler" % "2.11.8",
  "com.hortonworks" % "shc" % "1.1.2-2.1-s_2.11-SNAPSHOT"
)

它为我提供了以下未解决的依赖关系：

错误：导入SBT项目时出错：
... [警告] ====   local：试过[warn] ivy.xml [warn] ==== public：试过[warn]
  https://repo1.maven.org/maven2/com/hortonworks/shc/1.1.2-2.1-s_2.11-SNAPSHOT/shc-1.1.2-2.1-s_2.11-SNAPSHOT.pom   [info]解析jline＃jline; 2.12.1 ... [warn]     :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::警告：：
  无人解决的依赖:: [警告]     :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::警告：：   com.hortonworks＃shc; 1.1.2-2.1-s_2.11-SNAPSHOT：not found [warn]     :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: [警告] [警告]注意：   未解决的依赖路径：[warn]         com.hortonworks：shc：1.1.2-2.1-s_2.11-SNAPSHOT（build.sbt＃L8-14）   [warn] + - 默认值：project_2.11：1.0 [trace]抑制堆栈跟踪：   为完整输出运行'last *：ssExtractDependencies'。 [追踪]堆栈   跟踪抑制：为完整输出运行'last ：update'。 [错误]   （：ssExtractDependencies）sbt.ResolveException：未解析的依赖项：   com.hortonworks＃shc; 1.1.2-2.1-s_2.11-SNAPSHOT：找不到[错误]   （*：update）sbt.ResolveException：未解析的依赖项：   com.hortonworks＃shc; 1.1.2-2.1-s_2.11-SNAPSHOT：找不到[错误]总计   时间：7 s，完成3août201711:36:37

Answer 1

在您的解决方案中，您需要添加代表存储库的resolvers行。

scalaVersion := "2.11.12"

val sparkVersion = "2.1.0"

resolvers += "Hortonworks Repository" at "http://repo.hortonworks.com/content/repositories/releases/"

libraryDependencies += "org.apache.spark" %% "spark-core" % sparkVersion
libraryDependencies += "org.apache.spark" %% "spark-sql" % sparkVersion

libraryDependencies ++= Seq(
  "com.hortonworks" % "shc-core" % "1.1.1-2.1-s_2.11"
)

Answer 2

我的建议是不要使用最新版本的Spark，因为所有最新版本都有一些错误需要修复。尝试使用2.1.2 spark版本而不是2.2.0并转到maven存储库尝试此link

在这里，您将获得spark的所有相关依赖项。

Hortonworks shc未解决的依赖项

2 个答案: