Scala中的SparkSession版本麻烦

时间:2019-05-01 09:01:45

标签: scala apache-spark

我已经阅读了this article,并总结了“合并合并联接”示例,但是当我尝试构建项目时,出现以下错误:

  

对象SparkSession不是org.apache.spark.sql包的成员

我已经看到许多有关此错误的问题,答案是他们使用的是旧版本的Spark。但是我在Spark的build.sbt版本2.1中提到了它们在该网站上的示例中所使用的。

这是我的build.sbt:

name := "Simple Project"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"

我想念什么?

1 个答案:

答案 0 :(得分:1)

Spark SQL依赖项丢失

libraryDependencies += "org.apache.spark" %% "spark-sql" % 2.1.0