当我运行单词计数应用程序时,它永远不会完成

时间:2018-12-30 20:02:05

标签: java hadoop mapreduce yarn word-count

我需要有关在Hadoop中运行单词计数应用程序的帮助。我在多节点群集上工作,我想在我的主(主)节点上运行它。

我制作了要输入的文件夹,并将.txt复制到该文件夹​​,效果很好。 12

现在我需要运行使用Eclipse完成的mapreduce。 运行:

hadoop jar WordCount.jar WordCount /input /output

当我运行它时,我得到:

/input
/output
18/12/30 19:50:13 INFO client.RMProxy: Connecting to ResourceManager at 
/0.0.0.0:8032
18/12/30 19:50:13 WARN mapreduce.JobResourceUploader: Hadoop command-line 
option parsing not performed. Implement the Tool interface and execute your 
application with ToolRunner to remedy this.
18/12/30 19:50:14 INFO input.FileInputFormat: Total input files to process 
: 1
18/12/30 19:50:14 INFO mapreduce.JobSubmitter: number of splits:1
18/12/30 19:50:14 INFO Configuration.deprecation: 
yarn.resourcemanager.system-metrics-publisher.enabled is deprecated. 
Instead, use yarn.system-metrics-publisher.enabled
18/12/30 19:50:14 INFO mapreduce.JobSubmitter: Submitting tokens for job: 
job_1546180801267_1648
18/12/30 19:50:15 INFO impl.YarnClientImpl: Submitted application 
application_1546180801267_1648
18/12/30 19:50:15 INFO mapreduce.Job: The url to track the job: http://ec2- 
3-82-16-179.compute- 
1.amazonaws.com:8088/proxy/application_1546180801267_1648/
18/12/30 19:50:15 INFO mapreduce.Job: Running job: job_1546180801267_1648

我听了很多教程,在每个教程中他们都做一些事情并且得到相同的INFO,但是在映射并减少运行之后,在我的情况下它不会运行。

这是我的.profile 3

这是yarn-site.xml 4

Mapred-site.xml 5

hdfs-site.xml 6

core-site.xml 78

请帮我解决这个问题,我试图解决两天,但收效不佳。

谢谢!

0 个答案:

没有答案