通过Jenkins部署Oozie工作

时间:2016-01-14 15:44:24

标签: hadoop jenkins jenkins-plugins oozie

我正在编写Oozie作业,我想将它们部署到hadoop集群。

但是,我不想手动执行这些操作,而是希望使用Jenkins为我执行此部署。

我在网上搜索并没有找到oozie的任何插件....所以如果你在hadoop集群上使用oozie,你能告诉我什么是我可以做自动构建的最佳方式&使用Jenkins进行部署?

1 个答案:

答案 0 :(得分:4)

部署Oozie工作流只是将群集上不可用的xml文件和所需的依赖项放到HDFS目录中。 link

  • 假设你有两个Jenkins工作,
    • 一个用于构建,测试等
    • 第二次用于部署,这是在第一份工作成功建立之后触发的

您可以在第二个作业中将文件放在HDFS上,例如使用WebHdfs

其他方式如果您从第一份工作构建的产品是某种类型的包,例如zip,你可以创建一个脚本,将这个工件从Jenkins / Nexus下载到机器上,可以访问hdfs控制台命令,解压缩这个zip并将整个目录放到hdfs中,如其所描述的 here

如果您使用的是某种配置工具(Puppet或Ansible),则可以将其用于此目的。

要配置Jenkins计划,您可能需要使用

  • Jenkins Pipeline Plugin
  • 或Jenkins作业页面"配置 - >构建触发器 - >在构建其他项目之后构建"