Oozie:超时后取消工作

时间:2018-06-29 07:57:28

标签: apache-spark timeout oozie

对不起,但是找不到他的配置点。我安排了spark应用程序,有时它们可​​能会在1小时后不成功,在这种情况下,我想自动终止此任务(因为我确定它永远不会成功,并且可能会开始另一个计划)。

我找到了一个超时配置,但是据我了解,它用于延迟工作流程的启动。

那么,有一种生存的超时吗?

1 个答案:

答案 0 :(得分:0)

Oozie无法终止其触发的工作流程。但是,通过在协调器中将Concurrency = 1设置,可以确保单个工作流程同时运行。 另外,您还可以使用第二个Oozie工作流程来监视Spark作业的状态。

An,您应该调查Spark作业未成功或被阻止的根本原因。