Hadoop减少任务停留在0％

Question

我正在按照一些指南来设置伪分布式模式，我运行start-all.sh并且守护进程都很好（其中6个），然后我启动了我的WordCount示例，该示例在独立模式下运行良好，但是在地图上停留100％，减少0％。

查看jobtracker，reduce任务处于状态reduce > copy。 唯一的错误日志位于secondarynamenode.log：

2013-02-27 23:29:59,555 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:my_user_name cause:java.net.ConnectException: Connection refused 
2013-02-27 23:29:59,555 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint:  
2013-02-27 23:29:59,555 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: java.net.ConnectException: Connection refused

我可以在没有密码的情况下使用ssh localhost。 Hadoop版本是1.1.1。我从commande行启动了一个jar文件。

真的不知道出了什么问题，有些帮助吗？

提前致谢。

Answer 1

您运行单词计数的数据量是多少？如果您在独立模式下运行大型数据集而不使用组合器，则会导致一些问题。试试

job.setMapperClass(<Mapper_Class>);
job.setCombinerClass(<Reducer_Class>);
job.setReducerClass(<Reducer_Class>);

在程序中包含驱动程序的main方法中。这可能会帮助你。