我可以更快地制作我的Hadoop减速机吗？

Question

我是Hadoop的新手，只是尝试wordcount示例。 我只是构建一个引用http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

的节点

我将一个非常简单的文字上传到HDFS，然后运行wordcount.jar。

不知何故，减速机需要很长时间才能处理。我知道这是I / O瓶颈，但有什么方法可以设置一些参数并使其更快？ （lol，减少过程仍为0％，差不多20分钟）

13/06/04 15:53:14 INFO mapred.JobClient:  map 100% reduce 0%

Answer 1

如果要修改某些Hadoop设置，例如增加Reduce任务的数量，可以使用“-D”选项：

hduser@ubuntu:/usr/local/hadoop$ bin/hadoop jar hadoop*examples*.jar wordcount -D mapred.reduce.tasks=8 /user/hduser/temp-data /user/hduser/temp-data-output

此外，使用HDFS，您无法强制执行多个地图任务mapred.map.tasks，但您可以按照此link

中的说明指定mapred.reduce.tasks

Answer 2

看来您的Hadoop存在一些问题，并且MR无法正常运行。

请检查：

1. 您的Hadoop是否通过访问http://localhost:50030正常工作，这是您的hadoop的JobTracker WebUI
2. 查看$ HADOOP_HOME / logs /上的日志文件，尤其是*jobtracker*.log和*tasktracker*.log。

通常情况下，如果是您第一次测试Hadoop。请检查此链接：Hadoop WordCount example stuck at map 100% reduce 0%