Question

我试图在CDH 5.7群集上设置oozie。我已按照cloudera文档中的步骤安装并配置了所有内容。最后我提取了oozie-examples.tar.gz，将它输出到hdfs并试图运行一些例子。 MR示例运行正常，但火花一个失败，出现以下错误：

在src文件系统上更改了资源hdfs：//cluster/user/hdfs/.sparkStaging/application_1462195303197_0009/oozie-examples.jar（预计1462196523983，为1462196524951

我用来运行该示例的命令是：

oozie job -config /usr/share/doc/oozie/examples/apps/spark/job.properties -run

job.properties的内容：

nameNode=hdfs://cluster:8020
jobTracker=aleo-master-0:8021
master=yarn-cluster
queueName=default
examplesRoot=examples
oozie.use.system.libpath=true
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/spark

和workflow.xml：

<workflow-app xmlns='uri:oozie:workflow:0.5' name='SparkFileCopy'>
<start to='spark-node' />

<action name='spark-node'>
    <spark xmlns="uri:oozie:spark-action:0.1">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <prepare>
            <delete path="${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/spark"/>
        </prepare>
        <master>${master}</master>
        <name>Spark-FileCopy</name>
        <class>org.apache.oozie.example.SparkFileCopy</class>
        <jar>${nameNode}/user/${wf:user()}/${examplesRoot}/apps/spark/lib/oozie-examples.jar</jar>
        <arg>${nameNode}/user/${wf:user()}/${examplesRoot}/input-data/text/data.txt</arg>
        <arg>${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/spark</arg>
    </spark>
    <ok to="end" />
    <error to="fail" />
</action>

<kill name="fail">
    <message>Workflow failed, error
        message[${wf:errorMessage(wf:lastErrorNode())}]
    </message>
</kill>
<end name='end' />

版本信息：

Spark 1.6.0
Oozie 4.1.0-cdh5.7.0

之前有没有人见过这个问题？我也尝试使用自己的工作流程定义运行SparkPi，但结果是一样的。

感谢您的帮助！

Answer 1

您是否尝试清理火花升级路径？ Spark正在将给定jar的临时副本复制到其staging hdfs路径中，并且可能无法区分其中具有相同名称的两个不同的jar。

无法使用oozie

1 个答案: