我正在创建一个Spark应用程序,我在IntelliJ中导入依赖项时遇到错误:
object dataframe {
def main(args: Array[String]) {
// $example on:init_session$
val spark = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.getOrCreate()
}
}
我在sparkSession
语法中遇到错误然后我尝试添加依赖项,但我也遇到错误:
答案 0 :(得分:1)
目前,spark不支持 scala 2.12 ,您的sbt文件包含scala 2.12.5
将scala版本减少到2.11
应该适用于您的情况,使用2.11.8
libraryDependencies += "org.apache.spark" %% "spark-core" % 2.2.0
此处%%
将scala版本添加到工件spark-core_2.12
dependency
无法找到。
希望这有帮助