spark maven jar文件依赖

Question

我已经使用Eclipse与Maven，Java和Scala开发了一个简单的Spark应用程序。 在目标文件夹下，Maven install命令创建了两个名为 application.jar 的JAR文件，另一个名为 application-with-dependencies.jar 。我的问题是我应该使用哪个JAR文件将其提交给Spark集群？另外，为什么有两个JAR文件？名为 application.jar 的文件是 application-with-dependencies.jar

的一小部分

Answer 1

Maven通常生成一个只包含已编译的类和资源的JAR文件，但使用一些插件，如maven-assembly-plugin，maven也可以生成一个超级jar，即：一个不仅包含你的类和一个JAR文件资源，以及您的项目依赖的库。

如果没有更多信息application-with-dependencies-jar看起来就像其中一个超级罐。

从spark documentation来看，这就是您必须提交给Spark群集的JAR。