Question

如何使用决策节点使用oozie工作流检查分区位置是否存在。例如：/ user / cloudera / year=2016/month=201609/day=20150912

在我的hdfs位置，我每天都会得到一个数据集，如上所述。我...... year=2016/month=201609/day=20150912

在协调工作的帮助下，我将获得日期值

<property>
        <name>today</name>
 <value>${coord:formatTime(coord:dateOffset(coord:dateTzOffset(coord:nominalTime(), "America/Los_Angeles"), -1, 'DAY'), 'yyyyMMdd')}</value>
 </property>

在我的工作流程中，在决策节点的帮助下，如何检查year=2016/month=201609/day=20150912路径是否存在？

Answer 1

您可以使用oozie工作流EL功能中的HCatalog EL Functions：

指定hcatalog表分区URI的格式为

hcat://[metastore server]:[port]/[database name]/[table name]/[partkey1]=[value];[partkey2]=[value].

例如：

hcat://foo:8020/mydb/mytable/region=us;dt=20121212

Answer 2

看起来这是您要检查的位置：

/user/cloudera/year=${YEAR}/month=${YEAR}${MONTH}/day=${YEAR}${MONTH}${DAY}

当然，您可以根据需要使用正确的偏移来纠正这些问题。

Answer 3

感谢您及时回复@YoungHobbit和@Dennis Jaheruddin。

我想使用决策节点来检查路径是否存在，而不是URI。我发现坐标作业和workflow.xml帮助我实现了解决方案。

coordinate_job.xml

    <coordinator-app name="testemailjob" frequency="15" start="${jobStart}" end="${jobEnd}" timezone="America/Los_Angeles"  xmlns="uri:oozie:coordinator:0.2" >
  <controls>
    <execution>FIFO</execution>
  </controls>
  <action>
    <workflow>
      <app-path>${test}</app-path>
      <configuration>
     <property>
        <name>year</name>
          <value>${coord:formatTime(coord:dateOffset(coord:dateTzOffset(coord:nominalTime(), "America/Los_Angeles"), -1, 'DAY'), 'yyyy')}</value>
     </property>
    <property>
        <name>month</name>
          <value>${coord:formatTime(coord:dateOffset(coord:dateTzOffset(coord:nominalTime(), "America/Los_Angeles"), -1, 'DAY'), 'yyyyMM')}</value>
     </property>
      <property>
        <name>yesterday</name>
          <value>${coord:formatTime(coord:dateOffset(coord:dateTzOffset(coord:nominalTime(), "America/Los_Angeles"), -1, 'DAY'), 'yyyyMMdd')}</value>
     </property>
       <property>
        <name>today</name>
        <value>${coord:formatTime(coord:dateTzOffset(coord:nominalTime(), "America/Los_Angeles"), 'yyyyMMdd')}</value>
      </property>
        <property>
          <name>oozie.use.system.libpath</name>
          <value>True</value>
        </property>
       </configuration>
   </workflow>
  </action>
</coordinator-app>

我的workflow.xml：

<workflow-app name= ......>
...........................
...............................
 <decision name="CheckFile">
         <switch>
            <case to="nextOozieTask">
             ${fs:exists(concat(concat(concat(concat(concat(concat(nameNode, path),year),"/month="),month),"/day="),today))}
            </case>
             <case to="nextOozieTask1">
              ${fs:exists(concat(concat(concat(concat(concat(concat(nameNode, path),year),'/month='),month),'/day='),yesterday))}
            </case>
            <default to="MailActionFileMissing" />
         </switch>
  </decision>
....................
......................
</workflow-app>

如何检查oozie工作流程中的分区数据集？

3 个答案: