使用oozie自动化shell脚本

时间:2018-04-16 07:48:50

标签: hadoop apache-pig oozie

我必须一次又一次地对来自水槽的传入数据运行相同的脚本,所以我想自动化它。那么如何在一定的时间间隔内使用Oozie自动化猪脚本呢?

2 个答案:

答案 0 :(得分:0)

https://github.com/YahooArchive/oozie/wiki/Oozie-Coord-Use-Cases

无耻地复制

数据文件可用时触发协调员作业 您可以为Coordinator Job定义输入数据依赖项。在创建输入文件之前,您的作业不会运行。

$filter_order_type

答案 1 :(得分:0)

有两种方法可以实现这个目标

  1. 您可以使用必要的操作创建Oozie工作流,并编写一个shellcript来触发Oozie,并使用cron job安排它
  2. 设置cron作业的命令:

    crontab -e
    

    编写shell脚本的优点是,只要某个作业失败,您就可以设置失败的电子邮件通知。

    1. 撰写有开始和结束时间的Oozie工作