Question

我有多个数据源需要在oozie协调工作流程中考虑。数据集是不规则生成的，这意味着某些天可能无法生成数据。例如：

data_set1:
  ds1-1 - Sept-1-2015 - Data available
  ds1-2 - Sept-2-2015 - No Data
  ds1-3 - Sept-3-2015 - No Data
  ds1-4 - Sept-4-2015 - Data available
  ds1-5 - Sept-5-2015 - Data available
  ds1-6 - Sept-6-2015 - No Data
  ds1-7 - Sept-7-2015 - Data available.

Data_set2
  ds2-1 - Sept-1-2015 - Data available
  ds2-2 - Sept-2-2015 - Data available
  ds2-3 - Sept-3-2015 - Data available
  ds2-4 - Sept-4-2015 - No Data
  ds2-5 - Sept-5-2015 - Data available
  ds2-6 - Sept-6-2015 - Data available.
  ds2-7 - Sept-7-2015 - No Data

我的oozie协调员工作计划每天运行。但是，由于数据集可能不一定可用，因此我必须选择可用且最新的数据集。对于上面给出的数据集，我希望每次运行都考虑以下数据集：

  Sept-1-2015 - ds1-1, ds2-1
  Sept-2-2015 - ds1-1, ds2-2   #since no ds1 available for day2.
  Sept-3-2015 - ds1-1, ds2-3   #since no ds1 available for day3.
  Sept-4-2015 - ds1-4, ds2-3   #since no ds2 available for day4.
  Sept-5-2015 - ds1-5, ds2-5
  Sept-6-2015 - ds1-5, ds2-6   #since no ds1 available for day6
  Sept-7-2015 - ds1-7, ds2-6   #since no ds2 available for day7.

有没有办法用可用的Oozie构造实现这个目标？

Answer 1

如果您需要最新的可用数据，则应使用coord:latest EL功能。基本上，coord:latest表示使用您可以找到的最新可用数据。如果您想使用coord:latest(n)，则意味着

$ {coord：latest（int n）}代表当前可用的第n个同步数据集的实例。

在您的情况下，请使用以下示例：

    <data-in name="input" dataset="logs">
      <instance>${coord:latest(0)}</instance>
    </data-in>

使用Oozie协调员处理不规则的定时数据

1 个答案: