尝试运行mapreduce Hadoop作业时的权限错误

时间:2016-11-02 22:55:40

标签: hadoop mapreduce

我在尝试运行Hadoop作业时遇到错误。我尝试运行的命令来自/ root / folderX:

[root@hadoop folderX]# hadoop jar /usr/lib/Hadoop-mapreduce/Hadoop-streaming- 2.2.0.2.0.10.0-1.jar 
-input /user/cxxx/txxx/uxxx.txt 
-output /user/cxxx/txxx/count 
-file map.py 
-file reduce.py 
-mapper map.py 
-combiner reduce.py 
-reducer recude.py

我在错误的一部分中看到以下消息:

Error straming.StreamJob: Error Launching job : Permission denied: user=root, 
access=WRITE, inode=”user”:hdfs:drwxr-wr-x

运行命令hadoop fs -ls / user我得到以下

drwxr-xr-x  - root  hdfs   0 2016-11-01 10:10 /user/cxxx

关于我做错的任何想法?

由于

2 个答案:

答案 0 :(得分:0)

尝试以下命令

sudo -u hdfs hadoop jar /usr/lib/Hadoop-mapreduce/Hadoop-streaming- 2.2.0.2.0.10.0-1.jar 
-input /user/cxxx/txxx/uxxx.txt 
-output /user/cxxx/txxx/count 
-file map.py 
-file reduce.py 
-mapper map.py 
-combiner reduce.py 
-reducer recude.py

答案 1 :(得分:0)

我设法通过以下声明解决了问题:

 sudo -u hdfs hadoop fs -chmod -R 777 /user/cxxx

我不确定这样做有多聪明