Question

我是apache spark的新手并试图玩弄它。我已解压spark-1.1.0-bin-hadoop2.3并且因为它是预构建的版本，所以我没有必要再次构建它。

接下来我做的是安装了maven，在PATH变量中配置了maven。

然后我创建了一个类似于this的独立Java应用程序，并使用maven使用以下命令运行它：

$ mvn package
$ mvn exec:java -Dexec.mainClass="SimpleApp"

它工作得很好，我也得到了输出。

然后我尝试使用spark-submit实用程序运行应用程序并运行以下命令

$ mvn package
$ YOUR_SPARK_HOME/bin/spark-submit --class "SimpleApp" --master local[4] target/simple-project-1.0.jar

即使第一个命令完美地构建它，运行第二个命令也会给我这个错误：

 Exception in thread "main" java.lang.IncompatibleClassChangeError: class SimpleApp$1 has interface org.apache.spark.api.java.function.Function as super class
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
    at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    at SimpleApp.main(SimpleApp.java:17)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:328)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

这是Java应用程序的pom.xml

<project  xmlns="http://maven.apache.org/POM/4.0.0" 
 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
 xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 
 http://maven.apache.org/xsd/maven-4.0.0.xsd">
      <groupId>edu.berkeley</groupId>
      <artifactId>simple-project</artifactId>
      <modelVersion>4.0.0</modelVersion>
      <name>Simple Project</name>
      <packaging>jar</packaging>
      <version>1.0</version>
      <repositories>
         <repository>
            <id>Akka repository</id>
            <url>http://repo.akka.io/releases</url>
         </repository>
      </repositories>
      <dependencies>
          <dependency> <!-- Spark dependency -->
              <groupId>org.apache.spark</groupId>
              <artifactId>spark-core_2.10</artifactId>
              <version>1.1.0</version>
          </dependency>
       </dependencies>
  </project>

请帮助我找到问题的原因以及如何解决问题。我错过了这里的任何一步吗？

此致 Subhankar

Answer 1

我遇到了类似问题，但版本为0.9.1

<version>0.9.1</version>

刚刚在pom.xml中将版本更改为1.3并修复了它。

<version>1.3.0</version>

另一件需要考虑的事情是去maven资源库

cd ~/.m2/repository 
cd org/apache
rm -rf ./spark

返回项目目录并运行

mvn clean package

这将再次获得依赖关系并重建jar文件

Apache Spark：spark-submit提供了java.lang.IncompatibleClassChangeError异常

1 个答案: