Oozie做出类似的行为

时间:2014-04-07 19:22:44

标签: hadoop oozie

我目前正在开发一组必须以特定顺序运行的地图缩减任务。我希望使用Oozie来管理此工作流的依赖关系和运行。但是,我需要一个关键功能,而且我找不到任何可能表明可行的文档。

基本上,我正在寻找一种方法来设置一个动作,在执行动作之前检查其输出文件是否比输入文件(以及相关的map-reduce代码)更新。如果是这样,它将跳过执行操作。这样,我就可以对脚本进行更改,并且只运行工作流的那个阶段(以及依赖于其输出的任何阶段)。

有谁知道我该怎么做?

1 个答案:

答案 0 :(得分:1)

如何在oozie中使用shell操作,您可以在其中运行实际检查已定义文件内容差异的shell脚本。然后在这个动作的成功转到地图 - 红色动作并继续你的工作,否则转到失败的情况并杀死你的工作。

希望这个想法可以帮助你,如果这是你正在寻找的