Question

我的纱线有一个问题。它是一个开发测试环境。使用3个ubuntu虚拟机。

这是一个模拟：

1，在控制台中运行start-dfs.sh和start-yarn.sh.Type jps之后，显示：

hadoop@zonlolo101:~$ jps
9895 Jps
9649 ResourceManager
9323 NameNode
9520 SecondaryNameNode

2，跑步＆＃39; hadoop jar /opt/cloud/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount / input / output / out＆＃39;命令：

14/04/16 18:22:43 INFO mapreduce.Job: Running job: job_1397643671624_0002
14/04/16 18:23:23 INFO ipc.Client: Retrying connect to server: cloud001/192.168.1.101:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/16 18:23:24 INFO ipc.Client: Retrying connect to server: cloud001/192.168.1.101:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

3 8032端口关闭，然后使用jps检查：

hadoop@zonlolo101:~$ jps
9323 NameNode
10098 Jps
9520 SecondaryNameNode

没有资源管理器运行，它已关闭。

我想知道它有什么问题。我检查了配置。 yarn.site.xml是对的。感谢

Answer 1

似乎Datanode没有运行。请参阅此链接以设置纱线群 - http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html

Answer 2

你可以通过shell脚本请下载下面的链接。开始运行shell脚本，它将一次完成所有节点。您不需要运行命令，只能使用start-all.sh。 https://github.com/tonyreddy/Cloudera-Hadoop-2.0.0-MultiNode-shell-script

你可以使用apache hadoop shell脚本下面的链接 https://github.com/tonyreddy/Apache-MultiNode-Insatallation-Shellscript

Answer 3

感谢您的回复。有硬件资源问题。我在2台机器关机后运行了4台kvm机器。错误已经消失

我的hadoop-yarn配置有什么问题

3 个答案: