添加Spark＆＃34; Library＆＃34;到Scala项目

Question

我正在阅读一本书，作者遗漏了实际为项目提供Spark的Scala库的部分。像

这样的事情

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

不工作（apache失败）。

我是Scala的新手（以及一般的JVM语言），甚至不确定要搜索什么。我应该找罐子吗？我该如何添加它们？如果这有助于解释，我会使用intelliJ。

我确实有火花运行所以我认为它是＆＃34;客户＆＃34;我需要安装scala的spark库。

所以使用下面的答案我现在更接近（现在使用sbt），但我有以下错误：

build.sbt现在是：

name := "gettingThingsRunning"

version := "1.0"

scalaVersion := "2.12.1"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "1.5.1",
  "org.apache.spark" %% "spark-sql" % "1.5.1" )

Answer 1

您需要使用像Maven或sbt这样的依赖管理器。

使用sbt，您可以在项目根文件夹中添加build.sbt文件，例如：

name := "Simple Project"

version := "1.0"

scalaVersion := "2.11.7"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.2"

然后，您可以使用IntelliJ的Scala插件来“刷新”您的项目并重新索引依赖项。

修改 假设您使用SBT选项创建了项目，您可以使用侧栏中的SBT功能来刷新依赖项：

关于Spark，我建议阅读Spark quick start page，特别是“自包含应用程序”一节。

对于IntelliJ和SBT项目，我相信您可以从阅读以下页面中获益：

https://www.jetbrains.com/help/idea/2016.3/getting-started-with-sbt.html

Answer 2

将您的scalaVersion更改为2.11.8。有关详细信息，请查看this。