Question

我正在运行着名的wordcount示例。我有一个本地和prod hadoop设置。同样的例子在prod工作，但它不在本地工作。有人能告诉我应该寻找什么。工作陷入困境。任务日志是：

~/tmp$ hadoop jar wordcount.jar WordCount /testhistory /outputtest/test
Warning: $HADOOP_HOME is deprecated.

13/08/29 16:12:34 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13/08/29 16:12:35 INFO input.FileInputFormat: Total input paths to process : 3
13/08/29 16:12:35 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/08/29 16:12:35 WARN snappy.LoadSnappy: Snappy native library not loaded
13/08/29 16:12:35 INFO mapred.JobClient: Running job: job_201308291153_0015
13/08/29 16:12:36 INFO mapred.JobClient:  map 0% reduce 0%

本地hadoop以伪分布式模式运行。所有3个进程，namenode，datanode，jobtracker都在运行。如果需要一些额外信息，请告诉我。

Answer 1

任务追踪器似乎不见了。

尝试：

hadoop tasktracker &

Answer 2

在Hadoop 2.x中，此问题可能与内存问题有关，您可以在MapReduce in Hadoop 2.2.0 not working

中看到

Answer 3

我遇到了同样的问题，这个页面帮助了我： http://www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide/

基本上我使用以下3个步骤解决了我的问题。事实是我必须配置更多的内存。

1）yarn-site.xml

yarn.resourcemanager.hostname = hostname_of_the_master
yarn.nodemanager.resource.memory-mb = 4000
yarn.nodemanager.resource.cpu-vcores = 2
yarn.scheduler.minimum-allocation-mb = 4000

2）mapred-site.xml

yarn.app.mapreduce.am.resource.mb = 4000
yarn.app.mapreduce.am.command-opts = -Xmx3768m
mapreduce.map.cpu.vcores = 2
mapreduce.reduce.cpu.vcores = 2

3）在所有节点上发送这些文件

Answer 4

除了hadoop tasktracker &和任何其他问题。请检查您的代码并确保没有infinite loop或任何其他错误。也许您的代码中存在一些错误！

Answer 5

如果在使用Hive查询时出现此问题，请检查您是否在不利用分区的情况下加入两个非常大的表。不使用分区可能导致长时间运行全表扫描，因此卡在地图0％减少0％。

地图减少工作卡在地图上0％减少0％

5 个答案: