线程“主”中的异常java.lang.NoSuchMethodError：scala.Predef $ .longArrayOps（[J] [J]

Question

我有一个简单的Scala对象，该对象创建一个RDD，然后收集并打印出所有元素。

我已经在Eclipse上创建了一个Maven项目，并添加了Scala库2.12.3。 在pom.xml中，我添加了spark 2.4.3依赖项，如下所示：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>2.4.3</version>
</dependency>

最后，我创建了一个JAR，然后尝试执行spark-submit，但是

失败了

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.longArrayOps([J)[J
    at org.spark.learning.Demo$.main(Demo.scala:14)
    at org.spark.learning.Demo.main(Demo.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
    at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:849)
    at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:167)
    at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:195)
    at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
    at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:924)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:933)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

罪魁祸首似乎是我的Scala代码中的r1.collect.foreach（println），其中r1是从range（1,50）创建的rdd。

是的，我在Eclipse以及我的终端上都具有Scala 2.12.3和Spark 2.4.3，因此版本不兼容似乎不是这里的问题。

有人可以帮忙吗？

Answer 1

这是明确的版本问题。即使您声称使用2.12.x，也没有其他事情，似乎它指向旧版本的scala尝试进行清理和构建。验证您正在使用的Maven或sbt中的依赖项。

也可以 文件->项目结构->全局库->删除SDK->重建

如果您使用的是intellij，则将在类路径下列出所有外部库，如下图所示……在“外部库”部分下。

找到差异的一种方法是使用类加载器...

val  urls = urlsinclasspath(getClass.getClassLoader).foreach(println)


def urlsinclasspath(cl: ClassLoader): Array[java.net.URL] = cl match {
    case null => Array()
    case u: java.net.URLClassLoader => u.getURLs() ++ urlsinclasspath(cl.getParent)
    case _ => urlsinclasspath(cl.getParent)
  }

使用此功能，您可以使用intellij或驱动程序使用集群打印正在运行的项目的类路径中的所有jar。