我在Inteliij中导入依赖时遇到错误

时间:2018-04-25 11:09:35

标签: apache-spark dataframe intellij-idea

我正在创建一个Spark应用程序,我在IntelliJ中导入依赖项时遇到错误:

object dataframe {
  def main(args: Array[String]) {
    // $example on:init_session$
    val spark = SparkSession
      .builder()
      .appName("Spark SQL basic example")
      .config("spark.some.config.option", "some-value")
      .getOrCreate()
  }
}

我在sparkSession语法中遇到错误然后我尝试添加依赖项,但我也遇到错误:

enter image description here

1 个答案:

答案 0 :(得分:1)

目前,spark不支持 scala 2.12 ,您的sbt文件包含scala 2.12.5

将scala版本减少到2.11应该适用于您的情况,使用2.11.8

libraryDependencies += "org.apache.spark" %% "spark-core" % 2.2.0

此处%%将scala版本添加到工件spark-core_2.12 dependency无法找到。

希望这有帮助