Question

我有一个oozie工作流程，它调用sqoop和hive操作。当我从命令行运行oozie时，这个单独的工作流程正常工作。由于sqoop和hive脚本各不相同，我使用job.properties文件将值传递给workflow.xml。

sudo oozie job -oozie http://hostname:port/oozie -config job.properties -run

现在我想在Falcon中配置这个oozie工作流程。你能帮我解决一下我在哪里可以配置或传递job.properties吗？

以下是falcon process.xml

<process name="demoProcess" xmlns="uri:falcon:process:0.1">
<tags>pipeline=degIngestDataPipeline,owner=hadoop, externalSystem=svServers</tags>
<clusters>
    <cluster name="demoCluster">
        <validity start="2015-01-30T00:00Z" end="2016-02-28T00:00Z"/>
    </cluster>
</clusters>
<parallel>1</parallel>
<order>FIFO</order>
<frequency>hours(1)</frequency>
<outputs>
    <output name="output" feed="demoFeed" instance="now(0,0)" />
</outputs>

<workflow name="dev-wf" version="0.2.07"
engine="oozie" path="/apps/demo/workflow.xml" />

<retry policy="periodic" delay="minutes(15)" attempts="3" />
</process>

我无法在网上或猎鹰文件中找到很多帮助。

Answer 1

我参与了猎鹰的一些开发，但没有尝试过很多falcon vanilla，但是从我在下面的教程中理解：

http://hortonworks.com/hadoop-tutorial/defining-processing-data-end-end-data-pipeline-apache-falcon/

我会尝试创建动态接受job.properties的oozie-workflow.xml。将属性文件放在workflow.xml从中挑选的相应HDFS文件夹中，您可以为每个进程更改它。现在，您可以使用falcon process.xml并使用以下命令从命令行调用它：

falcon entity -type process -submit -file process.xml

同样在path = / apps / demo / workflow.xml中，您无需显式指定workflow.xml。您可以只提供文件夹名称，例如：

<process name="rawEmailIngestProcess" xmlns="uri:falcon:process:0.1">

<tags>pipeline=churnAnalysisDataPipeline,owner=ETLGroup,externalSystem=USWestEmailServers</tags>


<clusters>
    <cluster name="primaryCluster">
        <validity start="2014-02-28T00:00Z" end="2016-03-31T00:00Z"/>
    </cluster>
</clusters>

<parallel>1</parallel>
<order>FIFO</order>
<frequency>hours(1)</frequency>

<outputs>
    <output name="output" feed="rawEmailFeed" instance="now(0,0)" />
</outputs>

<workflow name="emailIngestWorkflow" version="2.0.0"
engine="oozie" path="/user/ambari-qa/falcon/demo/apps/ingest/fs" />

<retry policy="periodic" delay="minutes(15)" attempts="3" />

Answer 2

第二个想法我觉得你可以创建一个带有shell动作的oozie来调用sqoop_hive.sh，其中包含以下代码行：

sudo oozie job -oozie http://hostname:port/oozie -config job.properties -run。

Workflow.xml如下所示：

<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
<start to="shell-node"/>
<action name="shell-node">
    <shell xmlns="uri:oozie:shell-action:0.2">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <configuration>
            <property>
                <name>mapred.job.queue.name</name>
                <value>${queueName}</value>
            </property>
        </configuration>
        <exec>sqoop_hive.sh</exec>
        <argument>${feedInstancePaths}</argument>
        <file>${wf:appPath()}/sqoop_hive.sh#sqoop_hive.sh</file>
        <!-- <file>/tmp/ingest.sh#ingest.sh</file> -->
        <!-- <capture-output/> -->
    </shell>
    <ok to="end"/>
    <error to="fail"/>
</action>
<kill name="fail">
    <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end"/>

使用falcon进程调用来调用它：

falcon entity -type process -submit -file process.xml。如果在oozie中创建shell操作，可以在本地更改job.properties，该操作在shell脚本中调用oozie in命令行。

猎鹰＆amp; Oozie - 如何在falcon中为oozie配置job.properties

2 个答案: