Unresolve Dependencies Spark库

时间:2017-05-29 14:09:14

标签: scala apache-spark intellij-idea

我点了这个链接:http://blog.miz.space/tutorial/2016/08/30/how-to-integrate-spark-intellij-idea-and-scala-install-setup-ubuntu-windows-mac/

当我尝试使用Intellij编译我的项目时,sbt抱怨未解决的依赖项

  

[警告] === public:试过[警告]   https://repol.maven.org/maven2/org/apache/spark/spark-core/2.1.1/spark-core-2.1.1.pom   [Warn]未解析的依赖路径:org.apache.spark:spark-core:2.1.1

我的scala版本是2.12.2,sparkVersion是2.1.1

这是我的build.sbt的样子:

name := "test" version := "1.0" scalaVersion := "2.12.2"

val sparkVersion = "2.1.1"

libraryDependencies ++= Seq("org.apache.spark" % "spark-core" & sparkVersion)`

谢谢

1 个答案:

答案 0 :(得分:0)

你的最后一行应该是

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % sparkVersion

或者

libraryDependencies ++= Seq("org.apache.spark" % "spark-core_2.10"  % sparkVersion)

最好不要使用@Nonontb和@Cyrelle提到的scalaVersion := "2.12.2"。请减少spark支持的版本以获得更好的性能并避免意外错误。

以下行来自Spark docs

  
    

对于Scala API,Spark 2.1.1使用Scala 2.11。您需要使用兼容的Scala版本(2.11.x)。