当我尝试使用Intellij编译我的项目时,sbt抱怨未解决的依赖项
[警告] === public:试过[警告] https://repol.maven.org/maven2/org/apache/spark/spark-core/2.1.1/spark-core-2.1.1.pom [Warn]未解析的依赖路径:org.apache.spark:spark-core:2.1.1
我的scala版本是2.12.2,sparkVersion是2.1.1
这是我的build.sbt的样子:
name := "test" version := "1.0" scalaVersion := "2.12.2"
val sparkVersion = "2.1.1"
libraryDependencies ++= Seq("org.apache.spark" % "spark-core" & sparkVersion)`
谢谢
答案 0 :(得分:0)
你的最后一行应该是
libraryDependencies += "org.apache.spark" % "spark-core_2.10" % sparkVersion
或者
libraryDependencies ++= Seq("org.apache.spark" % "spark-core_2.10" % sparkVersion)
最好不要使用@Nonontb和@Cyrelle提到的scalaVersion := "2.12.2"
。请减少spark
支持的版本以获得更好的性能并避免意外错误。
以下行来自Spark docs
对于Scala API,Spark 2.1.1使用Scala 2.11。您需要使用兼容的Scala版本(2.11.x)。