容错的cron工作如何?

时间:2016-07-11 12:21:34

标签: shell hadoop cron hive apache-pig

我使用cron job在每2分钟包含pig和hive脚本后安排一个shell脚本。我想知道容错的cron作业是怎样的,假设网络出现故障或者某个文件在作业运行时被破坏,cron的工作是什么?它是否会重新启动该shell脚本或将发生什么。我没有在互联网上获得任何关于此的信息。如果你们帮忙的话,那真的很棒。 感谢

2 个答案:

答案 0 :(得分:1)

Oozie使用DAG并在启动共享多个脚本时检查数据可用性。 Oozie允许您更轻松地使用Pig和Hive作业的依赖项。由于它与Yarn集成,因此您不必担心炸毁集群。

如果数据损坏,cron什么也不做,它将等待下一个执行周期。你也可以用cron轻松填补这个问题,这可能导致工作执行时间更长。

答案 1 :(得分:0)

Cron唯一的工作就是按时间表执行任务。如果这是您想要的,那么由您的脚本决定是错误/容错的。