我需要有关在Hadoop中运行单词计数应用程序的帮助。我在多节点群集上工作,我想在我的主(主)节点上运行它。
我制作了要输入的文件夹,并将.txt复制到该文件夹,效果很好。 1,2
现在我需要运行使用Eclipse完成的mapreduce。 运行:
hadoop jar WordCount.jar WordCount /input /output
当我运行它时,我得到:
/input
/output
18/12/30 19:50:13 INFO client.RMProxy: Connecting to ResourceManager at
/0.0.0.0:8032
18/12/30 19:50:13 WARN mapreduce.JobResourceUploader: Hadoop command-line
option parsing not performed. Implement the Tool interface and execute your
application with ToolRunner to remedy this.
18/12/30 19:50:14 INFO input.FileInputFormat: Total input files to process
: 1
18/12/30 19:50:14 INFO mapreduce.JobSubmitter: number of splits:1
18/12/30 19:50:14 INFO Configuration.deprecation:
yarn.resourcemanager.system-metrics-publisher.enabled is deprecated.
Instead, use yarn.system-metrics-publisher.enabled
18/12/30 19:50:14 INFO mapreduce.JobSubmitter: Submitting tokens for job:
job_1546180801267_1648
18/12/30 19:50:15 INFO impl.YarnClientImpl: Submitted application
application_1546180801267_1648
18/12/30 19:50:15 INFO mapreduce.Job: The url to track the job: http://ec2-
3-82-16-179.compute-
1.amazonaws.com:8088/proxy/application_1546180801267_1648/
18/12/30 19:50:15 INFO mapreduce.Job: Running job: job_1546180801267_1648
我听了很多教程,在每个教程中他们都做一些事情并且得到相同的INFO,但是在映射并减少运行之后,在我的情况下它不会运行。
这是我的.profile 3:
这是yarn-site.xml 4:
Mapred-site.xml 5:
hdfs-site.xml 6:
请帮我解决这个问题,我试图解决两天,但收效不佳。
谢谢!