Question

我在项目中使用了JSoup，并在POM文件中声明了依赖项。它编译得很好，运行也很好，但只有当我使用jar with all dependencies并将依赖的范围更改为compiled时。

如果我将此范围更改为provided，那么我仍然可以正常编译，但不能运行它。它给了我ClassNotFoundException。我在classpath以及path变量中包含了必要的JAR文件，但我仍然面临这个问题。

我可以使用编译选项，但是我真的很想不起我的想法，为什么我无法使用提供的选项运行它，如果有人，我会真的欣赏它可以帮我解释原因。

以下是我看到的错误：

java.lang.NoClassDefFoundError: Lorg/jsoup/nodes/Document;
    at java.lang.Class.getDeclaredFields0(Native Method)
    at java.lang.Class.privateGetDeclaredFields(Class.java:2300)
    at java.lang.Class.getDeclaredField(Class.java:1882)
    at java.io.ObjectStreamClass.getDeclaredSUID(ObjectStreamClass.java:1605)
    at java.io.ObjectStreamClass.access$700(ObjectStreamClass.java:50)
    at java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:423)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.io.ObjectStreamClass.<init>(ObjectStreamClass.java:411)
    at java.io.ObjectStreamClass.lookup(ObjectStreamClass.java:308)
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1114)
    at java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:330)
    at backtype.storm.utils.Utils.serialize(Utils.java:52)
    at backtype.storm.topology.TopologyBuilder.createTopology(TopologyBuilder.java:94)
    at com.yahoo.amit.wordstorm.WordStormTopology.main(WordStormTopology.java:25)
Caused by: java.lang.ClassNotFoundException: org.jsoup.nodes.Document
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    ... 14 more

以下是我的POM文件：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.yahoo.amit.wordstorm</groupId>
  <artifactId>wordstorm</artifactId>
  <version>1.0-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>wordstorm</name>
  <url>http://maven.apache.org</url>

    <repositories>
        <repository>
            <id>clojars.org</id>
            <url>http://clojars.org/repo</url>
        </repository>
    </repositories>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
            <groupId>storm</groupId>
            <artifactId>storm</artifactId>
            <version>0.8.2</version>
            <scope>provided</scope>
        </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>

    <dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.7.2</version>
    <scope>provided</scope>
</dependency>

  </dependencies>
  <build>
    <plugins>
            <!--
            bind the maven-assembly-plugin to the package phase
            this will create a jar file without the storm dependencies
            suitable for deployment to a cluster.
             -->
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <mainClass></mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>

            </plugin>
        </plugins>
        </build>
</project>

以下是我的系统变量：

echo $PATH

/Users/programmerman/Summer
Project/apache-maven-3.0.5/bin/:/Users/programmerman/Summer
Project/storm-0.8.2/bin/:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/Users/programmerman/Summer
Project/CLASSPATH/jsoup-1.7.2.jar:/Users/programmerman/Summer
Project/CLASSPATH/*

echo $CLASSPATH

/Users/programmerman/Summer
Project/storm-0.8.2/storm-0.8.2.jar:/Users/programmerman/Summer
Project/storm-0.8.2/lib/*:/Users/programmerman/Summer
Project/storm-0.8.2/conf/storm.yaml:/Users/programmerman/SummerProject/storm-starter-masterPOM/target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar:/Users/programmerman/Summer
Project/CLASSPATH/jsoup-1.7.2.jar:/Users/programmerman/Summer
Project/CLASSPATH/*

Answer 1

这是关于Maven和Storm及其部署模型的问题。你必须check out what the storm command actually does。首先，它实际上是一个Python脚本，最终调用java。

如果查看函数get_classpath(extrajars)，您会注意到它根本不使用$CLASSPATH环境变量。相反，它加载核心Storm jar和你在相对于你的工作目录的目录lib/下拥有的任何jar，以及~/.storm下的配置文件

（您会发现忽略$CLASSPATH在许多Java应用程序中非常常见。通常，“启动脚本”所做的第一件事就是覆盖CLASSPATH或根本不使用它。这是为了防止未知/不支持/早期版本的罐子会导致应用程序出现问题。）

当jsoup被声明为“提供”时，你的应用程序失败：当你将jar声明为提供的依赖项时，它不会打包在你的“jar with dependencies”程序集中。请参阅此问题以获得一个很好的解释：Difference between maven scope compile and provided for JAR packaging

tl; dr解释说，编译范围是随你的超级jar一起提供的，前提条件不是，因为它是由你正在部署的容器“提供”的。通常，“容器”是一个Java Web服务器，就像Tomcat一样（因此，您不应该使用Java中的Web应用程序来运送JSP或Servlet jar）。在这种情况下，您期望“提供”类的“容器”是Storm。但是，Storm不提供jsoup，因此您的错误。

编译范围类仍然需要随应用程序一起提供，因为您的应用程序将实例化/使用接口，枚举等。

我的建议是只声明jsoup“编译”范围并继续前进。另一种方法是编写自己的定制部署脚本和/或程序集，将jsoup放在lib/下 - 最后基本上是相同的。

Answer 2

Storm脚本不使用CLASSPATH变量，而是将所有jar放在其类路径中的STORM_DIR / lib目录中。所以你有两个选择：

将JSoup依赖项的范围更改为＆＃34; compile＆＃34;范围并将其打包在具有依赖关系的jar中。
将JSoup依赖项留在＆＃34;提供＆＃34;范围并将JSoup jar复制到STORM_DIR / lib目录，以便storm脚本自动将该jar放入其类路径中。

我强烈推荐选项1并遵循标准的Maven方法。

仅供参考，这就是Storm脚本创建类路径字符串的方式：

def get_classpath(extrajars):
    ret = get_jars_full(STORM_DIR)
    ret.extend(get_jars_full(STORM_DIR + "/lib"))
    ret.extend(extrajars)
    return normclasspath(":".join(ret))

Answer 3

提供的Maven范围意味着依赖关系包含在编译中，但不包含在运行时。容器/运行脚本应该明确地包含它，所以我可以看到你在正确的轨道上。

您可以检查以解决问题的其他方法是：

检查运行java程序的shell实例上的CLASSPATH环境变量。虽然您的用户shell上已经有正确的CLASSPATH值，但通常您必须创建一个新的shell实例（即：运行脚本）并且不传播CLASSPATH变量。在UNIX上，这通常使用export命令
检查类路径路径是否有效，具有正确的文件系统权限，jar文件是否已损坏
检查用于运行程序的java命令。如果指定-cp，它可能（或不）覆盖CLASSPATH环境变量

在添加jsoup作为提供的依赖项后，Storm命令因NoClassDefFoundError而失败

3 个答案: