我正在编写Oozie作业,我想将它们部署到hadoop集群。
但是,我不想手动执行这些操作,而是希望使用Jenkins为我执行此部署。
我在网上搜索并没有找到oozie的任何插件....所以如果你在hadoop集群上使用oozie,你能告诉我什么是我可以做自动构建的最佳方式&使用Jenkins进行部署?
答案 0 :(得分:4)
部署Oozie工作流只是将群集上不可用的xml文件和所需的依赖项放到HDFS目录中。 link
您可以在第二个作业中将文件放在HDFS上,例如使用WebHdfs
其他方式如果您从第一份工作构建的产品是某种类型的包,例如zip,你可以创建一个脚本,将这个工件从Jenkins / Nexus下载到机器上,可以访问hdfs控制台命令,解压缩这个zip并将整个目录放到hdfs中,如其所描述的 here
如果您使用的是某种配置工具(Puppet或Ansible),则可以将其用于此目的。
要配置Jenkins计划,您可能需要使用