Question

我正在使用Ubuntu中的spark-submit在Spark上执行java存档。命令如下。此JAR文件是使用Maven Package构建的。依赖项在pom.xml文件中指定。

]$ spark-submit --class HighScore.Driver --master local[*] JarfilePath/Levelwise_PCFS-0.0.1-SNAPSHOT.jar InputFilePath/K9_Site1.csv 1000.

即使在命令中指定了packageName.className（HighScore.Driver），我也会收到以下错误。

以下是错误消息。

Exception in thread "main" java.lang.NoClassDefFoundError: com/github/lwhite1/tablesaw/api/Table
    at java.lang.Class.getDeclaredMethods0(Native Method)
    at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
    at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
    at java.lang.Class.getMethod0(Class.java:3018)
    at java.lang.Class.getMethod(Class.java:1784)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:727)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
    Caused by: java.lang.ClassNotFoundException: com.github.lwhite1.tablesaw.api.Table
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 10 more

com / github / lwhite1 / tablesaw / api / pom.xml文件中还指定了表依赖项。但它仍然抛出异常。

有人可以帮我纠正这个错误。

Answer 1

请记住，类加载器（特别是java.net.URLClassLoader）将在类路径的每个条目中的文件夹a / b / c /中查找包a.b.c中的类。

NoClassDefFoundError也可能表示您错过了您编译过的.jar文件的传递依赖项，并且您尝试使用该文件。

例如，如果您有一个类com.example.Foo，那么在编译之后您将拥有一个类文件Foo.class。例如，您的工作目录为.../project/.该类文件必须放在.../project/com/example中，您可以将类路径设置为.../project/。

有关详细信息，请参阅此post。这会有所帮助。

使用Eclipse运行Spark-submit时出现java.lang.ClassNotFoundException：com.github.lwhite1.tablesaw.api.Table错误

1 个答案: