wordcount没有在Cloudera中运行

时间:2016-08-11 17:26:00

标签: hadoop amazon-ec2 mapreduce cloudera

我已在Amazon EC2的Linux RHEL 7.2实例中安装了Cloudera 5.8。我已经使用SSH登录,并且我尝试使用以下命令运行wordcount示例以测试mapreduce操作:

 hadoop jar /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount archivo.txt output

问题是wordcount程序被阻止,它不会产生输出。仅提示以下内容:

16/08/11 13:10:02 INFO client.RMProxy: Connecting to ResourceManager at ip-172-31-22-226.ec2.internal/172.31.22.226:8032

16/08/11 13:10:03 INFO input.FileInputFormat: Total input paths to process : 1

16/08/11 13:10:03 INFO mapreduce.JobSubmitter: number of splits:1

16/08/11 13:10:04 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1470929244097_0007

16/08/11 13:10:04 INFO impl.YarnClientImpl: Submitted application application_1470929244097_0007

16/08/11 13:10:04 INFO mapreduce.Job: The url to track the job: http://ip-172-31-22-226.ec2.internal:8088/proxy/application_1470929244097_0007/

16/08/11 13:10:04 INFO mapreduce.Job: Running job: job_1470929244097_0007

然后在“正在运行的工作”后被阻止。在此之后,我必须按Ctrl + C进行解锁,它不会产生输出。

任何知道原因的人?我认为这可能是配置问题,我是DataNodes的新手,等等。

非常感谢。

1 个答案:

答案 0 :(得分:0)

看起来没有资源(地图或减速器插槽),作业正在等待资源。您可以检查作业状态。

http://ip-172-31-22-226.ec2.internal:8088