Hadoop Map-减少输出文件异常

Question

我在亚马逊d2.2Xlarge上运行单节点hadoop集群时遇到此错误。我也无法查看我的输出。是否有人向我提供了解决此问题的正确步骤？

"Caused by: org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not
 find any valid local directory for output/file.out"

这是我执行的步骤。

bin/hdfs dfsadmin -safemode leave                            
bin/hadoop fs -mkdir /inputfiles    
bin/hadoop dfsadmin -safemode leave    
bin/hadoop fs -mkdir /output    
bin/hdfs dfsadmin -safemode leave       
bin/hadoop fs -put input1 /inputfiles    
bin/hdfs dfsadmin -safemode leave   
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar  
wordcount /inputfiles /output

Answer 1

您不应为Map Reduce作业创建输出目录。

删除此命令

bin/hadoop fs -mkdir /output  

将最后一个命令更改为

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar  
wordcount /inputfiles /output1

确保您有权在/

下创建output1

如果没有，我更喜欢以下目录结构。

/home/your_user_name/input用于输入目录文件和

/home/your_user_name/output表示输出目录。