Jenkins作为Hadoop EdgeNode上的JobServer

时间:2018-11-07 10:18:09

标签: hadoop jenkins mapr

我不确定有人可以帮助我,但我会尝试的。

我正在Openshift-Cluster上运行Jenkins,以将其用于部署并作为运行ETL-Jobs的作业服务器。这些作业正在将数据从平面文件传输到数据库,以及从db传输到db。

现在,我应该扩展系统,以使用MapR将数据传输到hadoop集群。 我想知道的是,如何使用MapR从hadoop-cluster中使用新的Jenkins-Slave作为EdgeNode上的作业服务器。我是否需要EdgeNode上的Jenkins,还是可以从现有的Jenkins-Jobserver使用MapR?

Mabye,有人可以帮助我,或者有一些信息/链接来解决问题。

感谢所有人...

1 个答案:

答案 0 :(得分:0)

“ Use MapR”对我来说还不太清楚,因为我只是在一天结束时才将其视为Hadoop,但是您可以通过仅安装Hadoop Java来有效地使Jenkins从属服务器成为“边缘节点”(也许MapR)客户端实用程序以及其他边缘节点定义了如何与群集通信的XML配置文件。

然后,詹金斯将能够运行sh("hadoop jar app.jar"),例如

如果您使用的是Openshift,还可以尝试将Hadoop客户端放在可以在Jenkins或其他任何地方运行的Docker映像中