Question

使用我的build.sbt

version := "1.0"
scalaVersion := "2.11.8"

// https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.1"

我试图让Spark进入我的sbt 0.13项目，但IntelliJ 2016.2.5给出了错误“未解决的依赖”。我做错了什么？

没有代理，如果我说“2.0.0”而不是“2.0.1”，它就可以使用，但那不太好......

另外：它似乎在CLI中工作，但在IntelliJ中不起作用。

Answer 1

开箱即用SBT只加载https://repo1.maven.org/maven2/存储库，据我所知，目前没有Apache Spark。也许你建造的另一个项目从其他仓库获取它，现在它使用你当地的常春藤缓存来解决？

您可以通过向项目中添加另一个maven reporotory来解决此问题，例如：

resolvers ++= Seq(
  Resolver sonatypeRepo "public",
  Resolver typesafeRepo "releases",
)

更新：如果您想使用MavenRepository（开箱即用不），您可以尝试添加：

resolvers += "MavenRepository" at "https://mvnrepository.com/"

Answer 2

我目前正在使用这个build.sbt获取spark2 depdendencies，但似乎我没有得到任何代码失败，异常ss uch as

C：\ Users \ marco \ SparkExamples \ src \ main \ scala \ MachineLearningExamples.scala：3：对象mllib不是包org.apache.spark的成员 [error] import org.apache.spark.mllib.regression.LabeledPoint [错误] ^ [error] C：\ Users \ marco \ SparkExamples \ src \ main \ scala \ MachineLearningExamples.scala：4：对象分类不是包org.apache.spark.ml的成员 [error] import org.apache.spark.ml.classification._ [错误] ^

这是我的build.sbt ....想知道是否有人可以尝试在我的本地机器上排除sbt问题。感谢

    name := "SparkExamples"
    version := "1.0"
    scalaVersion := "2.11.8"
    val sparkVersion = "2.0.1"


    libraryDependencies += "junit" % "junit" % "4.8" % "test"
    libraryDependencies ++= Seq("org.slf4j" % "slf4j-api" % "1.7.5",
                        "org.slf4j" % "slf4j-simple" % "1.7.5",
                        "org.clapper" %% "grizzled-slf4j" % "1.0.2")
    libraryDependencies += "org.apache.spark"%%"spark-core"   % sparkVersion 
    libraryDependencies += "org.apache.spark"%%"spark-streaming"   % sparkVersion 
    libraryDependencies += "org.apache.spark"%%"spark-mllib"   % sparkVersion 
    libraryDependencies += "org.apache.spark"%%"spark-streaming-flume-sink" % sparkVersion     
    libraryDependencies += "org.apache.spark"%%"spark-sql"   % sparkVersion 


    resolvers += "MavenRepository" at "https://mvnrepository.com/"

如果我使用sparkVersion 1.6.0（稍微调整一下spark-streaming-flume依赖），一切都可以使用

Answer 3

Mateusz Kubuszok的答案很接近。我只需将http://central.maven.org/maven2添加到我的解析器，而不是https://mvnrepository.com/。

resolvers  += "MavenRepository" at "http://central.maven.org/maven2"

这似乎有很多火花依赖。

对于SBT上的Spark 2.0.1，“未解决的依赖”

3 个答案: