Scala运行时错误调用Spark作业服务器上的程序

Question

我使用spark 1.6.2和Scala 11.8来编译我的项目。生成的具有依赖项的超级jar放在Spark作业服务器中（似乎使用Scala 10.4（.sh文件中指定的SCALA_VERSION = 2.10.4）

启动服务器，上传上下文/应用程序罐子没有问题。但在运行时，会发生以下错误

java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaUniverse$JavaMirror

Why do Scala 2.11 and Spark with scallop lead to "java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror"?讨论使用Scala 10编译源代码。这是真的吗？

请提出任何建议......

Answer 1

使用scala 2.10.4编译项目。否则你也需要用11编译spark。