我想在Spark 2.0中以独立模式运行一个简单的Spark Streaming应用程序。我有一个Ubuntu VM作为工作者,我的Windows主机作为主服务器。 要编写应用程序,我使用IntelliJ IDE,使用maven依赖项。 问题在于:我使用以下方式启动大师:
spark-class org.apache.spark.deploy.master.Master
然后,在VM中,我使用
启动workerstart-slave.sh <spark://IP>
然后我将此主URL传递给IntelliJ中的SparkStreaming Context,如下所示:
SparkConf sparkConfiguration= new SparkConf().setAppName("App1").setMaster("spark://IP")
问题在于:当我在IntelliJ中运行应用程序时,它成功连接到主服务器,我甚至看到应用程序正在运行,如下所示:
但会出现此错误:java.lang.ClassNotFoundException: scala.runtime.AbstractPartialFunction$mcVL$sp
我在我的Maven依赖项中使用完全相同版本的scala,然后是我在VM和主机中使用的版本,并正确设置了SCALA_HOME环境变量
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>2.11.8</version>
</dependency>
我不知道还能做什么。有人能帮我吗?非常感谢你。