如何在Cloudera上的Oozie工作流中添加类路径

时间:2017-05-05 07:24:43

标签: scala oozie cloudera-cdh

我有一个scala应用程序,并使用maven打包到jar中

<build>
    <sourceDirectory>src/main/scala</sourceDirectory>
    <resources>
        <resource>
            <directory>src/main</directory>
        </resource>
    </resources>
    <plugins>
        <plugin>
            <groupId>org.scala-tools</groupId>
            <artifactId>maven-scala-plugin</artifactId>
            <version>2.11</version>
            <executions>
                <execution>
                    <goals>
                        <goal>compile</goal>
                        <goal>testCompile</goal>
                    </goals>
                    <phase>compile</phase>
                </execution>

            </executions>
        </plugin>
        <plugin>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.3</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
                <mainClass>mypackage.Check</mainClass>
            </configuration>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-jar-plugin</artifactId>
            <version>2.4</version>
            <configuration>
                <archive>
                    <index>true</index>
                    <manifest>
                        <classpathPrefix>lib/</classpathPrefix>
                        <addClasspath>true</addClasspath>
                        <mainClass>mypackage.Check</mainClass>
                    </manifest>
                </archive>
            </configuration>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-dependency-plugin</artifactId>
            <version>2.2</version>
            <executions>
                <execution>
                    <id>copy-dependencies</id>
                    <phase>package</phase>
                    <goals>
                        <goal>copy-dependencies</goal>
                    </goals>
                    <configuration>
                        <outputDirectory>${project.build.directory}/lib</outputDirectory>
                        <overWriteReleases>true</overWriteReleases>
                        <overWriteSnapshots>true</overWriteSnapshots>
                        <overWriteIfNewer>true</overWriteIfNewer>
                    </configuration>
                </execution>
            </executions>
        </plugin>

    </plugins>
</build>

如图所示,我在pom.xml中设置了mainClass,在本地,我可以正确运行它 java -jar normarevision-0.0.1-SNAPSHOT.jar /Users/Scala/normarevision/src/main/application.conf

如何在Cloudera Oozie Workflow中使用它, enter image description here

我在Check字段中尝试Mainclass o空,但都没有成功。 还有什么需要配置吗? enter image description here

现在我明白它是类路径的问题,它现在可以找到同伴命令: java –cp {SCALA_LIB}:myjar.jar mypackage.Check$delayedInit$body args

java –jar myjar.jar args

Java –cp {SCALA_LIB}:myjar.jar mypackage.Check args 所以问题现在转向如何在Cloudera中的Oozie工作流中设置类路径。 任何帮助都将受到欢迎。

1 个答案:

答案 0 :(得分:0)

目前,我发现解决它的一种方法是更改​​job.property文件的配置 oozie.use.system.libpath=false并将所有必需的库复制到工作空间目录的/lib。就我而言, /user/hue/oozie/workspaces/hue-oozie-*****/lib