在Standalone中运行Spark 2.0时出错:NoClassDefFoundError:scala / runtime /

时间:2016-10-02 00:02:57

标签: scala maven intellij-idea apache-spark spark-streaming

我想在Spark 2.0中以独立模式运行一个简单的Spark Streaming应用程序。我有一个Ubuntu VM作为工作者,我的Windows主机作为主服务器。 要编写应用程序,我使用IntelliJ IDE,使用maven依赖项。 问题在于:我使用以下方式启动大师:

spark-class org.apache.spark.deploy.master.Master

然后,在VM中,我使用

启动worker
start-slave.sh <spark://IP>

然后我将此主URL传递给IntelliJ中的SparkStreaming Context,如下所示:

SparkConf sparkConfiguration= new SparkConf().setAppName("App1").setMaster("spark://IP")

问题在于:当我在IntelliJ中运行应用程序时,它成功连接到主服务器,我甚至看到应用程序正在运行,如下所示:

enter image description here

但会出现此错误:java.lang.ClassNotFoundException: scala.runtime.AbstractPartialFunction$mcVL$sp

我在我的Maven依赖项中使用完全相同版本的scala,然后是我在VM和主机中使用的版本,并正确设置了SCALA_HOME环境变量

  <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>2.11.8</version>
  </dependency> 

我不知道还能做什么。有人能帮我吗?非常感谢你。

0 个答案:

没有答案