Question

我有一个使用JAR文件的小型Spark项目，我用Maven打包。

我正在使用GSON处理JSON文件，我特别需要JsonReader类。

我添加了GSON依赖项，当我将它作为标准Java项目运行时，它运行正常。但是，当我打包并在Spark中运行时，它会抱怨：

Exception in thread "main" java.lang.NoClassDefFoundError: com/google/gson/stream/JsonReader

以下是有问题的一行：

reader = new JsonReader(new InputStreamReader(new FileInputStream(
                jsonfile)));

我确实导入了它：

import com.google.gson.*;
import com.google.gson.stream.JsonReader;

这是我的POM文件：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>SWETesting</groupId>
  <artifactId>SWETesting</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <build>
    <sourceDirectory>src</sourceDirectory>
    <plugins>
      <plugin>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.1</version>
        <configuration>
          <source/>
          <target/>
        </configuration>
      </plugin>
    </plugins>
  </build>
  <dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>1.2.1</version>
    </dependency>
    <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.8.1</version>
    </dependency>
    <dependency>
        <groupId>com.google.code.gson</groupId>
        <artifactId>gson</artifactId>
        <version>2.3.1</version>
    </dependency>
  </dependencies>
</project>

我甚至在我的发行版中安装了libgoogle-gson，但这没有帮助。

这里有什么问题？

编辑：我在使用Maven构建作业后以独立模式提交作业：

mvn package
/home/chris/Tools/spark-1.2.1/bin/spark-submit --class PlagiarismCheck --master local[6] target/SWETesting-0.0.1-SNAPSHOT.jar > output.txt

Answer 1

问题是您的项目依赖项未包含在SWETesting-0.0.1-SNAPSHOT.jar中，因此出现错误。您可以使用maven-assembly插件或类似插件生成胖罐，以解决问题。您可以找到示例here。

Answer 2

看起来它指的是旧版本的jar。 gson jar旧版本1.5没有包名称流。检查maven依赖关系树，找出是否存在任何旧版本的gson jar。如果是，请清理项目/删除存储库中的jar

检查maven依赖关系树的命令

C:\Projects\Project_name>mvn dependency:tree

Spark / Java：GSON依赖项中的NoClassDefFoundError

2 个答案: