将Oozie协调员的运行日期传播到工作流程中

时间:2015-01-30 09:14:35

标签: hadoop oozie oozie-coordinator

问题摘要

运行Oozie协调员时,我需要工作流能够以yyyyMMdd格式访问当前日期(即协调器运行的日期)。

信息

我有一个由协调员初始化的大型Oozie工作流程。

coord.properties

nameNode=<namenode>
jobTracker=<jobtracker>:8050

queueName=default
oozie.use.system.libpath=true
oozie.libpath=${nameNode}/project/workflow/lib
oozie.coord.application.path=${nameNode}/project/workflow

coordinator.xml:

<?xml version="1.0" encoding="UTF-8"?>
<coordinator-app xmlns="uri:oozie:coordinator:0.1" name="wf_scheduler" frequency="${coord:days(1)}" start="2015-01-30T08:50Z" end="2017-01-30T05:00Z" timezone="UTC">
   <action>
      <workflow>
         <app-path>${nameNode}/project/workflow</app-path>
         <configuration>
            <property>
               <name>currentDate</name>
               <value>${coord:actualTime()}</value>
            </property>
            <property>
            <name>runDate</name>
            <value>${convertDate(currentDate,"YYYY-MM-DDTHH:mmZ","yyyyMMdd")}</value>
            </property>
         </configuration>
      </workflow>
   </action>
</coordinator-app>

job.properties(即非协调员)运行此工作流程时,我在runDate=20150125中有job.properties个属性。显然,当从协调器运行时,我需要每天由协调器设置runDate。这似乎微不足道,但我无法找到解决方案。

我已经在oozie.service.ELService.ext.functions.workflow中提到了一个EL函数,它允许我给出一个表示日期,日期格式和所需输出格式的字符串,然后以该格式返回一个字符串日期。即${convertDate("20150125", "yyyyMMdd", "yyyy-MM-dd") = 2015-01-25。从job.properties运行时,此函数可以正常工作,我理想的解决方案是能够在coordinator.xml中使用它。但是,在提交协调员时出现以下错误:

Error: E1004 : E1004: Expression language evaluation error, Unable to evaluate :${convertDate(currentDate,"YYYY-MM-DDTHH:mmZ","yyyyMMdd")}:

1 个答案:

答案 0 :(得分:2)

您可能会发现使用内置EL函数coord:formatTime(String timeStamp, String format)更容易转换时间戳格式:

https://oozie.apache.org/docs/4.1.0/CoordinatorFunctionalSpec.html#a6.9.2._coord:formatTimeString_ts_String_format_EL_Function_since_Oozie_2.3.2

例如:

${coord:formatTime(coord:actualTime(), "yyyyMMdd")}