Question

人。

我正在使用Hortonwork的HDP沙箱。我已经配置了简单的spark作业（该文件将文本文件输出，并将单词计数输出到另一个文件中）。

无论如何，当我安排工作在5分钟后始终重复时，协调员（在oozie中）遇到了问题。每次coodrinator创建12个相同的工作流程，我都不知道为什么。这是我的协调器配置：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<coordinator-app xmlns="uri:oozie:coordinator:0.5" end="2020-01-02T17:53Z" frequency="${coord:minutes(5)}" name="Simple Spark Scala Coordinator" start="2019-05-01T17:53Z" timezone="GMT+04:00">
    <action>
        <workflow>
            <app-path>/user/admin/tmp/workflow.xml</app-path>
        </workflow>
    </action>
</coordinator-app>

这是工作流程配置：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<workflow-app xmlns="uri:oozie:workflow:0.5" name="Spark Scala Example Workflow">
    <start to="spark_scala_example"/>
    <action name="spark_scala_example">
        <spark xmlns="uri:oozie:spark-action:0.2">
            <job-tracker>${resourceManager}</job-tracker>
            <name-node>${nameNode}</name-node>
            <prepare>
                <delete path="${nameNode}/user/${wf:user()}/tmp/result_large"/>
            </prepare>
            <master>local</master>
            <name>Spark Scala Example Action</name>
            <class>com.example.App</class>
            <jar>${nameNode}/user/${wf:user()}/tmp/spark-scala-example-1.0-SNAPSHOT.jar</jar>
            <arg>${nameNode}/user/${wf:user()}/tmp/test_large.txt</arg>
            <arg>${nameNode}/user/${wf:user()}/tmp/result_large</arg>
        </spark>
        <ok to="end"/>
        <error to="kill"/>
    </action>
    <kill name="kill">
        <message>${wf:errorMessage(wf:lastErrorNode())}</message>
    </kill>
    <end name="end"/>
</workflow-app>

你们知道为什么它会创建12个相同工作流程的副本吗？

Answer 1

您是否检查了这12个工作流程中的日期是否相同？

如果您选择设置过去的开始日期，Oozie将弥补缺少的工作流程。不确定为什么只有12

Oozie协调员为一项操作创建12个工作流作业

1 个答案: