从节点可以运行Hadoop Map / Reduce Job吗？

Question

我在两个节点（主节点和从节点）上安装了Hadoop。我会问我是否可以从Slave Machine运行Map / Reduce作业或使用Slave机器的HDFS。从主节点运行map / reduce作业没有问题，但是当我尝试从Slave节点运行Map / Reduce Job时，出现以下错误。

Java.net.connectionException在连接异常时失败。

Answer 1

只要每个节点都配置了正确的jobtracker位置属性，就可以从群集中的任何计算机运行作业。实际上，只要您连接到服务器（即没有防火墙挡住）并且Hadoop配置了正确的jobtracker和namenode，您就可以从任何计算机（包括个人桌面或笔记本电脑）运行作业。

确保在主设备的主机和端口的从设备上配置mapred.job.tracker。像master.com:8021这样的东西。并确保您可以在从站和主站之间建立连接，例如通过运行telnet master.com 8021。我假设你可以建立连接，因为master（jobtracker）可以在tasktracker上安排任务。