“Apache Oozie动作是异步的”的含义是什么?

时间:2015-10-23 07:59:49

标签: hadoop asynchronous oozie

This Apache documentations表示Apache Oozie操作是异步的。但它也提到了检查行动状态的机制。

  

3.2.1.2动作是异步的

     

操作节点触发的所有计算/处理任务都由Oozie异步执行。对于由工作流操作触发的大多数类型的计算/处理任务,工作流作业必须等到计算/处理任务完成后再转换到工作流中的以下节点。

     

异常是作为同步动作处理的fs动作。

     

Oozie可以通过两种不同的方式检测计算/处理任务的完成情况,回调和轮询。

     

当Oozie启动计算/处理任务时,Oozie为任务提供了一个唯一的回调URL,任务应该调用给定的URL来通知它的完成。

     

如果任务因任何原因(即瞬态网络故障)未能调用回调URL,或者任务类型在完成时无法调用回调URL,Oozie有一种机制来轮询计算/处理任务以完成

因此,在触发一个动作(比如MapReduce作业)之后,它会发生什么,它会等到当前动作完成/失败或自动转移到下一个任务。 但是下一个任务是根据当前任务状态决定的

<ok to="myNextAction"/>
<error to="errorCleanup"/>

那么“动作是异步的”是什么意思?

1 个答案:

答案 0 :(得分:0)

Oozie拥有主要的MR工作(工作流程工作)和工作流程中每个操作的MR。 工作流作业仅负责处理工作流(启动任务并等待完成)。操作在单独的MR中执行,这意味着它们是异步的。