带有security.UserGroupInformation的map-reduce作业的Hadoop错误：PriviledgedActionException（没有这样的文件或目录）

Question

我正在运行一个简单的流式map-reduce作业，似乎无法解决此错误。

hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.2.1.jar -input textDataFiles/* -output counts -file /home/hduser/first/mapper.py -mapper mapper.py -file /home/hduser/first/reducer.py -reducer reducer.py

结果是：

Warning: $HADOOP_HOME is deprecated.

packageJobJar: [/home/hduser/first/mapper.py, /home/hduser/first/reducer.py] [] /tmp/streamjob1639740860313757975.jar tmpDir=null
14/01/19 00:04:57 INFO util.NativeCodeLoader: Loaded the native-hadoop library
14/01/19 00:04:57 ERROR security.UserGroupInformation: PriviledgedActionException as:hduser cause:ENOENT: No such file or directory
14/01/19 00:04:57 ERROR streaming.StreamJob: Error Launching job : No such file or directory
Streaming Command Failed!

我的mapper和reducer没有什么特别之处 - 它是一个简单的单词计数脚本。有什么建议吗？

Answer 1

我最近在学校的hadoop集群中遇到过这个问题 问题在于/tmp/hadoop-USERNAME目录的权限，安装在常规文件系统上。 USERNAME代表我连接的linux机器上的用户名。
删除该目录解决了这个问题。