从Storm群集访问Azure Service Bus时出错

时间:2014-11-25 12:44:04

标签: azureservicebus azure-servicebus-queues

我们正在尝试使用自定义构建的spout java代码通过Apache Storm群集从Azure Service Bus(ASB)读取消息。当提交风暴拓扑以在群集模式下运行时,我们面临以下问题:

  • 未注册的服务或财产:com.microsoft.windowsazure.services.servicebus.ServiceBusContract class com.sun.jersey.api.client.Client
  • 无法添加Azure Service Bus Connector
  • 服务设置失败。
  • 异步循环死了!

在本地模式下提交相同的拓扑(没有群集)时,相同的代码可以正常工作,并且能够从ASB接收消息。

从java环境访问ASB并且能够解决此问题时,是否有人遇到类似的问题?

3 个答案:

答案 0 :(得分:1)

请参阅https://github.com/Azure/azure-sdk-for-java/issues/466上的解决方法。阴影罐有问题,你只需要在pom.xml中包含一个新的变换器来解决问题。它对我有用。

答案 1 :(得分:0)

我正在制作一个自定义azure-service-bus客户端的 jar-with-dependencies ,在我的情况下(Carlos / Robert)/ issue#466解决方法(maven- shade-plugin)不起作用。

我总是得到同样的错误:

Service or property not registered: com.microsoft.windowsazure.services.servicebus.ServiceBusContract class com.sun.jersey.api.client.Client

注意:我刚发现另一张可能与此问题有关的开票:issue#465

此错误的根本原因是以下错误资源:

META-INF/services/com.microsoft.windowsazure.core.Builder$Exports

azure-coreazure-servicebus(0.8.3)依赖关系使用相同的文件(相同的名称和相同的位置)嵌入"包导出"名单。 此2个文件应合并

我悲伤的解决方法是使用maven-assembly的两次执行:

  • 步骤A)首先执行一个依赖目录,
  • 步骤B)第二次执行附加我的固定Builder$Exports资源版本,删除MS签名文件(安全问题),并制作最终的jar文件。

此解决方案尚不可接受,因为未从azure依赖项中选择固定资源。我有自己的额外资源。但今天我没有其他解决方法。

固定的MS合并结果文件(src / main / resources)是:

文件名

META-INF/services/com.microsoft.windowsazure.core.Builder$Exports

文件内容

com.microsoft.windowsazure.services.servicebus.Exports
com.microsoft.windowsazure.services.servicebus.implementation.Exports
com.microsoft.windowsazure.core.pipeline.apache.Exports
com.microsoft.windowsazure.core.pipeline.jersey.Exports
com.microsoft.windowsazure.core.utils.Exports
com.microsoft.windowsazure.credentials.Exports
com.microsoft.windowsazure.management.configuration.Exports

pom插件定义:

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>2.4</version>
                <executions>
                    <execution>
                        <id>dir-jar-with-dependencies</id><!-- step A -->
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                        <configuration>
                            <descriptors>
                                <descriptor>src/assembly/dir_jardeps.xml</descriptor>
                            </descriptors>
                            <finalName>busclient</finalName>
                            <appendAssemblyId>false</appendAssemblyId>
                        </configuration>
                    </execution>
                    <execution>
                        <id>jar-with-dependencies-ms-patch</id><!-- step B -->
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                        <configuration>
                            <archive>
                                <manifest>
                                    <mainClass>${mainclass}</mainClass>
                                </manifest>
                            </archive>
                            <descriptors>
                                <descriptor>src/assembly/jardeps_mspatch.xml</descriptor>
                            </descriptors>
                            <finalName>busclient</finalName>
                            <appendAssemblyId>false</appendAssemblyId>
                        </configuration>
                    </execution>

档案src/assembly/dir_jardeps.xml

<assembly xmlns="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.3" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.3 http://maven.apache.org/xsd/assembly-1.1.3.xsd">
    <id>dir-jar-with-dependencies</id>
    <formats>
        <format>dir</format>
    </formats>
    <includeBaseDirectory>false</includeBaseDirectory>
    <dependencySets>
        <dependencySet>
            <outputDirectory>/</outputDirectory>
            <useProjectArtifact>true</useProjectArtifact>
            <unpack>true</unpack>
            <scope>runtime</scope>
        </dependencySet>
    </dependencySets>
</assembly>

档案src/assembly/dir_jardeps.xml

<assembly xmlns="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.3" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.3 http://maven.apache.org/xsd/assembly-1.1.3.xsd">
    <id>dir-jar-with-dependencies</id>
    <formats>
        <format>jar</format>
    </formats>
    <includeBaseDirectory>false</includeBaseDirectory>
    <fileSets>
        <fileSet>
            <directory>${project.build.directory}/classes/META-INF</directory>
            <outputDirectory>META-INF</outputDirectory>
        </fileSet>
        <fileSet>
            <directory>${project.build.directory}/busclient</directory>
            <outputDirectory>/</outputDirectory>
            <excludes>
             <exclude>META-INF/services/com.microsoft.windowsazure.core.Builder$Exports</exclude>
             <!-- MS jars are signed : remove signatures -->
             <exclude>META-INF/*.SF</exclude>
             <exclude>META-INF/*.DSA</exclude>
             <exclude>META-INF/*.RSA</exclude>
            </excludes>
        </fileSet>
    </fileSets>
</assembly>

答案 2 :(得分:0)

在gradle构建脚本中,我添加了此插件

apply plugin: 'com.github.johnrengelman.shadow'

我使用shadowJar任务而不是jar任务,我给了归档名称和主类。方法mergeServiceFiles()合并重复的服务文件名。

shadowJar {
archiveName = "sample.jar"
manifest {
attributes 'Main-Class': ' com.test.asset.Test'
}
mergeServiceFiles()
}

我希望这有助于某人

谢谢, Veeresh