检查Spark包版本

Question

我正在尝试使用Scala IntelliJ Idea设置我的第一个Ubuntu 16.04项目。我需要Spark库，我想我已经在我的计算机中正确安装了，但是我无法在项目依赖项中引用它。特别是，我在build.sbt中添加了以下代码：

libraryDependencies ++= Seq(
  "org.apache.spark" % "spark-core" % "2.1.1",
  "org.apache.spark" % "spark-sql" % "2.1.1")

但是sbt抱怨找不到正确的包（Unresolved Dependencies错误，org.apache.spark#spark-core;2.1.1: not found和org.apache.spark#spark-sql;2.1.1: not found）：

我认为软件包的版本不正确（我从网上复制了以前的代码，只是为了尝试）。

如何确定正确的软件包版本？

Answer 1

如果您使用%，则必须将确切版本定义为

libraryDependencies ++= Seq(
  "org.apache.spark" % "spark-core_2.10" % "2.1.1",
  "org.apache.spark" % "spark-sql_2.10" % "2.1.1")

如果您不想定义版本并让sbt采用正确的版本，那么您需要将%%定义为

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.1.1",
  "org.apache.spark" %% "spark-sql" % "2.1.1")

您可以通过

检查已安装的版本

spark-submit --version 

前往maven dependency