在单个jar中具有依赖项的Spark Scala

Question

我有一个Scala Spark应用程序，我想使用maven创建具有依赖项的jar。

我正在使用maven-assembly-plugin

<plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>2.4</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

但是当我使用Spark-submit命令运行我的应用程序时，我仍然得到java.lang.NoClassDefFoundError。当我使用--jars选项运行它并为依赖项jar提供路径时，它运行良好。如果我缺少什么，请告诉我。谢谢

Answer 1

配置看起来不错。 尝试删除以前的应用程序jar，然后运行“ mvn软件包”命令来创建一个新的jar。