Azkaban:由于在管道模式下阻塞的作业太多而失败

时间:2018-07-02 18:47:49

标签: bigdata scheduler job-scheduling azkaban

Azkaban的管道模式执行导致在积压的任务中积累了足够数量的作业后,作业失败。如果flow的执行花费的时间超过其调度频率,则会发生这种情况: enter image description here 有没有一种方法可以使Azkaban仅在前一个实例结束时启动新实例,而同时又不跳过任何实例。我们不能跳过实例,因为传递给每个实例的时间参数有助于选择必须处理的数据的持续时间。

0 个答案:

没有答案