Question

我有以下内容。 Namenode和Datanode似乎工作得很好。但是Resourcemanager和Nodemanager似乎有一些我找不到的奇怪的配置问题。乍一看一切都很好，因为每个webgui都在回应。但是如果我执行

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input /out2

我收到以下错误

2014-02-04 08:57:05,906 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1345)) -  map 0% reduce 0%
2014-02-04 08:57:14,146 INFO  [main] ipc.Client (Client.java:handleConnectionFailure(783)) - Retrying connect to server: datanode0/10.80.10.132:59135. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=3, sleepTime=1 SECONDS)
2014-02-04 08:57:15,147 INFO  [main] ipc.Client (Client.java:handleConnectionFailure(783)) -     Retrying connect to server: datanode0/10.80.10.132:59135. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=3, sleepTime=1 SECONDS)
2014-02-04 08:57:16,149 INFO  [main] ipc.Client (Client.java:handleConnectionFailure(783)) - Retrying connect to server: datanode0/10.80.10.132:59135. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=3, sleepTime=1 SECONDS)

这真的很奇怪，因为配置说不同的东西

<name>yarn.nodemanager.address</name>
<value>${yarn.nodemanager.hostname}:36123</value>

这真的很奇怪，因为我无法弄清楚为什么他需要端口59135 ...哪个btw总是一些随机端口。任何人都可以指出我找到错误的正确方向

Answer 1

对于Hadoop 2.2.x安装指南，请点击此链接

http://nextgenhadoop.blogspot.in/2013/10/steps-to-install-hadoop-220-stable.html

Answer 2

当我在本地运行Hadoop时，我有同样的症状。我发现我需要将以下内容添加到yarn-site.xml以使事情正常工作：

<property>
  <name>yarn.resourcemanager.address</name>
  <value>127.0.0.1:8032</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>127.0.0.1:8030</value>
</property>
<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>127.0.0.1:8031</value>
</property>

在您的情况下，您需要为每个属性设置正确的值，具体取决于您尝试访问的位置。您是否配置了这些属性？

我希望这有帮助！

Answer 3

您必须在所有节点中配置主机名和端口号，而不仅仅是在资源管理器节点

中

在hadoop 2.2.0中尝试Hadoop Mapreduce示例时出错

3 个答案: