Question

在伪分布式模式下安装和配置我的hadoop 2.7.1后，一切都在运行，正如您在

中看到的那样

~$ jps
4825 Jps
4345 NameNode
4788 JobHistoryServer
4496 ResourceManager

比我运行mapreduce示例

  hadoop jar /usr/local/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar pi 2 10

执行frezees（？）

  Number of Maps  = 2
Samples per Map = 10
15/07/14 08:40:09 WARN util.NativeCodeLoader: Unable to load native-hadoop          library for your platform... using builtin-java classes where applicable
Wrote input for Map #0
Wrote input for Map #1
Starting Job
15/07/14 08:40:13 INFO client.RMProxy: Connecting to ResourceManager at  master/10.0.0.4:8032
15/07/14 08:40:15 INFO input.FileInputFormat: Total input paths to process :  2
15/07/14 08:40:15 INFO mapreduce.JobSubmitter: number of splits:2
15/07/14 08:40:16 INFO mapreduce.JobSubmitter: Submitting tokens for job:  job_1436860512406_0002
15/07/14 08:40:17 INFO impl.YarnClientImpl: Submitted application   application_1436860512406_0002
15/07/14 08:40:17 INFO mapreduce.Job: The url to track the job:  http://master:8088/proxy/application_1436860512406_0002/
15/07/14 08:40:17 INFO mapreduce.Job: Running job: job_1436860512406_0002

2小时后显示相同..

请提出任何想法..

由于

Answer 1

这里我可以看到你执行jps命令

的时间

~$ jps
4825 Jps
4345 NameNode
4788 JobHistoryServer
4496 ResourceManager

它没有显示您的data-node。表示您的数据节点已关闭。您需要对其进行格式化并重新开始。

我的服务器上遇到了同样的问题。我遵循的步骤是：

stop-all.sh
hadoop namenode -format
hadoop datanode -format
转到hdfs namenode和datanode所在的实际目录。使用sudo rm -rf *
从tmp目录中删除文件，例如app/hadoop/tmp/
使用start-all.sh
使用jps检查是否所有内容都在运行

Answer 2

设置yarn.nodemanager.resource.memory-mb和 yarn.nodemanager.resource.cpu-vcores纱线配置更高一些数字，应该解决。

了解更多来自cloudera here

Mapreduce作业未运行

2 个答案: