Question

我正在构建一个Apache Spark应用程序，它既可以在本地调试，也可以部署到集群。为此，我必须将其依赖关系定义为spark-core（Java / scala库）以满足以下要求。

包含在编译中（其他方面编译失败）包含在运行和测试中（用于本地调试和单元测试）在程序集中被排除（为了部署到具有提供的spark-core的集群，这减少了jar大小70M，我使用maven-shade插件来生成全包jar，因为有一些jar地狱问题无法使用maven解决 - 装配）

不幸的是，看起来maven本身并不支持自定义范围。有没有办法使用一些插件启用它？

Answer 1

我们在maven构建中完成了这一点：将Spark程序集排除在作业程序集中。我们在maven-shade插件配置中添加了排除规则。

<configuration>
    <shadedArtifactAttached>true</shadedArtifactAttached>
    <shadedClassifierName>jar-with-dependencies</shadedClassifierName>
        <artifactSet>
            <excludes>
                <exclude>org.apache.spark:spark-assembly</exclude>
            </excludes>
        </artifactSet>
...
</configuration>

Answer 2

您可以使用scope属性（已提供）作为依赖项。

这很像compile，但表示您希望JDK或容器在运行时提供依赖项。例如，在为Java Enterprise Edition构建Web应用程序时，您可以将Servlet API和相关Java EE API的依赖关系设置为提供的范围，因为Web容器提供了这些类。此范围仅在编译和测试类路径中可用，并且不可传递。

参考：http://maven.apache.org/guides/introduction/introduction-to-dependency-mechanism.html#Dependency_Scope

例如：

<dependency>
  <groupId>group-a</groupId>
  <artifactId>artifact-b</artifactId>
  <version>1.0</version>
  <type>bar</type>
  <scope>provided</scope>
</dependency>

Answer 3

您应该创建2个配置文件。 1为您的想法在编译范围内使用spark（默认），另一个在构建期间使用（使用提供的范围）。

<profiles>
    <profile>
        <id>default-without-spark</id>
        <activation>
            <activeByDefault>true</activeByDefault>
        </activation>
        <dependencies>
            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-core_2.11</artifactId>
                <scope>provided</scope>
            </dependency>
        </dependencies>
    </profile>
    <profile>
        <id>dev</id>
        <dependencies>
            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-core_2.11</artifactId>
            </dependency>
        </dependencies>
    </profile>
</profiles>

你会得到你想要的东西而没有@maasg解决方案的缺点（所有的火花传递依赖都添加到你的最后一个jar）

如何在maven中定义依赖范围以在编译，运行，测试中包含库，但不在汇编/打包中包含库？

3 个答案: