在Hadoop集群中为MapReduce作业部署JAR

Question

抱歉dum问题。 我在CentOS linux中有一个5节点的hadoop集群。

名称节点/ 职位追踪/ 辅助名称节点/ 数据节点 - 2

我写了一个地图reduce并编译了JAR。我需要向哪个节点部署JAR？

提前致谢。

Answer 1

在典型的hadoop集群中，应该有客户端节点。客户端节点用于在hadoop集群上运行客户端应用程序和集群管理工具。 客户端计算机执行以下任务：

1. 在HDFS群集中加载数据
2. 提交MapReduce作业（描述如何处理数据）
3. 完成作业后检索或查看作业结果
4. 提交Pig或Hive查询

Hadoop管理员通常在安装和配置hadoop集群期间配置客户端计算机。请确定您的群集中是否配置了客户端节点。如果是，那么您可以从那里部署和安排/提交您的工作。您也可以使用NameNode来部署和提交jar，但使用namenode来部署jar不是一种有效的方法。

如果您正在运行oozie，那么您可以将您的jar放在HDFS上，然后您可以通过oozie安排hadoop作业。