Question

我是Scala Spark的新手，正在尝试使用Intellij创建示例项目。在创建项目期间，我选择Scala和Sbt以及Scala 2.12版，但是当我尝试添加Spark Streaming版本2.3.2（如果一直出错）时，我在Google的网站上和Google的网站上搜索了以下所示的sbt配置，但我仍然遇到相同的错误。

Error: Could not find or load main class SparkStreamingExample
Caused by: java.lang.ClassNotFoundException: SparkStreamingExample

如何确定哪个Scala版本与哪个版本的Spark Dependencies一起使用？

name := "SparkStreamExample"

version := "0.1"

scalaVersion := "2.11.8"

libraryDependencies ++= Seq(

  "org.apache.spark" % "spark-streaming_2.11" % "2.3.2"
)

我的Object类非常基础，没有太多...

import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext

object SparkStreamingExample extends App {
    println("SPARK Streaming Example")
}

Answer 1

您可以在Spark documentation中看到Spark支持的Scala版本。

在撰写本文时，文档显示：

Spark可在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上运行。对于Scala API，Spark 2.3.2使用Scala 2.11。您将需要使用兼容的Scala版本（2.11.x）。

请注意，仅支持Scala 2.11.x。

如何使用正确的Scala版本正确设置Scala Spark libraryDependencies？

1 个答案: