Question

我正在开发一个spark应用程序。我正在使用第三方罐子。我在我的sbt文件中添加了它。汇编成功了

> libraryDependencies += "org.springframework.security" %
> "spring-security-web" % "3.0.7.RELEASE

但是当我提交火花工作时

spark-submit --master yarn-client --class MyClass target/scala-2.10/my-app.jar

失败并出现以下错误：

Exception in thread "main" org.apache.spark.SparkException: Job aborted due to 
stage failure: Task 0 in stage 48.0 failed 1 times, most recent failure: Lost task 0.0 in stage 48.0 (TID 3216, localhost): 
`java.lang.NoClassDefFoundError:` org/springframework/security/web/util/IpAddressMatcher

我也试过在spark-submit jar中明确传递jar

spark-submit --master yarn-client --jars third-party-jars/spring-security-web-3.0.7.RELEASE.jar --class MyClass target/scala-2.10/my-app.jar

但随后失败并出现以下错误：

java.lang.NoClassDefFoundError: org/springframework/util/StringUtils
    at org.springframework.security.web.util.IpAddressMatcher.<init>(IpAddressMatcher.java:33)

它的类似错误，但在另一个类。

有关如何解决此问题的任何建议吗？

由于

Answer 1

您也可以使用IntelijIDE。您无需始终进行调整。你可以在这里下载Ubuntu。 https://apps.ubuntu.com/cat/applications/intellij-idea-ce/

Spark Submit中的NoClassDefFoundError

1 个答案: