无法使用YARN运行MapReduce作业

时间:2013-12-10 22:48:11

标签: hadoop mapreduce yarn

我正在迈出第一步,掌握hadoop。我在分布式模式下(在两个虚拟机上)设置了CDH4.5。我在使用YARN运行MapReduce作业时遇到问题。我可以成功启动DistributedShell应用程序(来自CDH示例),但是一旦我运行MapReduce作业,它就会永远挂起。

这就是我要推出的内容:

sudo -uhdfs yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 1 1

这是最后一个资源管理器的日志行:

13/12/10 23:30:02 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1386714123362_0001
13/12/10 23:30:02 INFO client.YarnClientImpl: Submitted application application_1386714123362_0001 to ResourceManager at master/192.168.122.175:8032
13/12/10 23:30:02 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1386714123362_0001/
13/12/10 23:30:02 INFO mapreduce.Job: Running job: job_1386714123362_0001

运行作业后,节点管理器的日志不会收到任何新消息。

这是我在资源管理器的网页上看到的关于这项工作的内容:

State - ACCEPTED
FinalStatus - UNDEFINED
Progress - (progress bar in 0%) 
Tracking UI - UNASSIGNED

Apps Submitted - 1
Apps Pending - 1 
Apps Running - 0

2 个答案:

答案 0 :(得分:0)

我在http://hadoop.apache.org/docs/r2.0.6-alpha/hadoop-project-dist/hadoop-common/releasenotes.html找到了这个:

YARN-300。 shenhong报告的主要错误,由Sandy Ryza(资源管理员,调度员)修复 在YARN-271之后,公平调度程序可以无限循环而不安排任何应用程序。 在yarn-271之后,当yarn.scheduler.fair.max.assign< = 0时,当一个节点被保留时,fairScheduler将无限循环而不安排任何应用程序。

尝试新版本,即上面的2.0

答案 1 :(得分:0)

可能是由于系统资源问题引起的,我通过重新启动系统来解决了该问题。