Question

我正在尝试使用Oozie spark动作执行scala代码。但最终会出现以下错误：

oozi-W@spark-node] Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.SparkMain], exit code [-1]

我的workflow.xml如下所示。

<action name='spark-node'>
        <spark xmlns="uri:oozie:spark-action:0.1">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>

        <job-xml>${nameNode}/user/${wf:user()}/${examplesRoot}/apps/spark/hive-conf.xml</job-xml>

            <master>${master}</master>
            <name>ToyPredictor</name>
            <class>org.scala.model.ToyPredictor</class>
         <jar>${nameNode}/user/${wf:user()}/${examplesRoot}/apps/spark/lib/ToyPredictor-1.4.jar,${nameNode}/user/${wf:user()}/${examplesRoot}/apps/spark/lib/datanucleus-api-jdo-3.2.6.jar,${nameNode}/user/${wf:user()}/${examplesRoot}/apps/spark/lib/datanucleus-rdbms-3.2.9.jar,${nameNode}/user/${wf:user()}/${examplesRoot}/apps/spark/lib/datanucleus-core-3.2.10.jar
            </jar>

        <arg>34</arg>
            <arg>0</arg>
        <arg>34</arg>
            <arg>${nameNode}/tmp/ScalaOut-data/</arg>

        </spark>
        <ok to="end" />
        <error to="fail" />
    </action>

我能够执行Oozie文档中提供的示例spark操作。但是当尝试使用spark动作执行此scala代码时，我得到上面的错误。任何使用oozie对scala代码执行示例的建议或指示都非常感谢。

使用oozie spark action执行Scala代码会出现退出代码[-1]错误

0 个答案: