Apache Storm - 如何在生产集群中排除Maven中的风暴jar

Question

根据documentation，当我们将Storm拓扑部署到生产集群时，我们必须从Maven中排除Storm的jar，因为它已经在classpath中，如果我们不这样做，会出现multiple default.yaml in classpath之类的错误。

那我们怎么做呢？文档提供了一些细节，但不够清楚。当我们配置maven并构建jar时，仍然包含org.apache.storm jar，jar中有default.yaml，实际上，如果我们打开构建中的调试输出，我们会看到警告如：

[WARNING]The following patterns were never triggered in this artifact inclusion filter: o 'org.apache.storm:storm-core:jar:1.1.1'.

将依赖项org.apache.storm的范围更改为provided，但它不起作用。

<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-core</artifactId>
    <type>jar</type>
    <version>1.1.1</version>
    <scope>provided</scope>
</dependency>

Answer 1

documentation of Storm告诉我们排除Storm依赖关系并提供a link to a page of Maven，它解释了如何做到这一点，但它缺少一个完整的例子。事实证明，我们必须创建另一个XML文件作为程序集配置的描述符，而不是直接将配置放在pom.xml中，即使Eclipse没有抱怨将这两个文件放在一起。

并且，在第二个xml文件中，范围应为compile而不是runtime。

以下是：

我们有pom.xml个assembly个插件，指向另一个描述符xml文件：

<plugin>                                                                                
    <artifactId>maven-assembly-plugin</artifactId>                                      
    <executions>                                                                        
        <execution>                                                                     
            <id>make-assembly</id> <!-- this is used for inheritance merges -->         
            <phase>package</phase> <!-- bind to the packaging phase -->                 
            <goals>                                                                     
                <goal>single</goal>                                                     
            </goals>                                                                    
        </execution>                                                                    
    </executions>                                                                       
    <configuration>                                                                     
        <descriptors>                                                                   
            <descriptor>/src/main/resources/exclude-storm.xml</descriptor>              
        </descriptors>                                                                  
        <archive>                                                                       
            <manifest>                                                                  
                <mainClass>path.to.main.class</mainClass> 
            </manifest>                                                                 
        </archive>                                                                      
        <descriptorRefs>                                                                
            <descriptorRef>jar-with-dependencies</descriptorRef>                        
        </descriptorRefs>                                                               
    </configuration>                                                                    
</plugin>     

注意部分:(应该是完整路径）

<descriptors>                                                                   
    <descriptor>/src/main/resources/exclude-storm.xml</descriptor>              
</descriptors>

在这条道路上：

<?xml version="1.0" encoding="UTF-8"?>
<assembly xmlns="http://maven.apache.org/ASSEMBLY/2.0.0"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/ASSEMBLY/2.0.0 http://maven.apache.org/xsd/assembly-2.0.0.xsd">
    <id>exclude-storm</id>
    <formats>
        <format>jar</format>
    </formats>
    <includeBaseDirectory>false</includeBaseDirectory>
    <dependencySets>
        <dependencySet>
            <outputDirectory>/</outputDirectory>
            <useProjectArtifact>false</useProjectArtifact>
            <unpack>true</unpack>
            <scope>compile</scope>   <!-- note here!!!! -->
            <excludes>
                <exclude>org.apache.storm:storm-core:jar:1.1.1</exclude>
            </excludes>
        </dependencySet>
    </dependencySets>
    <fileSets>
        <fileSet>
            <outputDirectory>/</outputDirectory>
            <directory>${project.build.outputDirectory}</directory>
        </fileSet>
    </fileSets>
</assembly>

这里我们添加了Maven doc页面的设置。

最重要的事情：排除格式：应该是：（ref）

groupId:artifactId:type[:classifier]:version

范围！ runtime是默认值，我将其更改为compile并且有效。

最后，在编译时，使用：

clean assembly:assembly

打开调试输出以在控制台中查看完整输出。如果你：

• 成功构建
• 搜索输出，但未找到类似：[WARNING]The following patterns were never triggered in this artifact inclusion filter: o 'org.apache.storm:storm-core:jar:1.1.1'.
的内容
• jar不包含default.yaml

然后你知道你已经成功了。

感谢另一个问题和答案的灵感：How to exclude dependencies from maven assembly plugin : jar-with-dependencies?

Answer 2

我很高兴您知道如何使用程序集插件执行此操作。一个更简单的解决方案是使用阴影插件来创建你的胖罐。有关如何在Storm示例目录中配置pom的完整示例（也包含在Storm二进制分发中）

例如参见https://github.com/apache/storm/blob/80cc88112bf4fab34571ebff03782b759d112288/examples/storm-kafka-client-examples/pom.xml#L94

使用shade插件时，在创建fat jar时会考虑为storm-core提供的范围。