Question

我试图在build.sbt文件中下载spark-core和spark-sql：

name := "spark Test App"
version := "0.1"
organization := "sura.organization"
scalaVersion :=  "2.11.8"
val sparkVersion := "2.3.1"

libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % sparkVersion,
"org.apache.spark" %% "spark-sql" % sparkVersion)

当我运行sbt软件包时，出现错误消息

/build.sbt]：7：应该为'='。

我找不到错误，请帮助我。

Answer 1

问题出在这一行

val sparkVersion := "2.3.1"

应该是

val sparkVersion = "2.3.1"

此外，您应该将这些依赖关系标记为已提供，因为您只需要将它们用于编译和本地执行（例如测试）。但是在生产中，您将把jar部署到一个Spark集群中，该集群（显然）已经包含了它们。

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion % Provided,
  "org.apache.spark" %% "spark-sql" % sparkVersion % Provided
)

PS：确保使用与部署群集相同的Spark和Scala版本。

顺便说一句，如果您需要包括其他依赖项（例如Mongo Spark连接器），则应查看sbt-assembly，但请注意，您需要排除Scala标准程序库中的库。

build.spark：添加火花依赖

1 个答案: