我正在尝试运行map reduce作业,该作业会创建一些稍后由节点管理器中运行的代码使用的中间文件。
在linux文件系统中运行时代码运行正常。但是当在hdfs中运行相同时,不会创建任何中间文件。 对于在代码运行时更新的结果文件也是如此。
在这两种情况下我都可以找到元数据但是当我试图查找文件时它不存在
以下是我查找“rule.txt”时会发生的事情。
在hdfs中:
寻找rule.txt:
hdfs dfs -ls /home/hduser/C45/
14/11/24 13:30:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 2 items
drwxr-xr-x - hduser supergroup 0 2014-11-23 19:06 /home/hduser/C45/bank/output
drwxr-xr-x - hduser supergroup 0 2014-11-24 13:20 /home/hduser/C45/bank/outputIntermediate
尝试检查所有子文件夹时:
hdfs dfs -ls /home/hduser/C45/bank/*
14/11/24 13:30:03 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 174 items
drwxr-xr-x - hduser supergroup 0 2014-11-24 13:17 /home/hduser/C45/bank/outputIntermediate/0
drwxr-xr-x - hduser supergroup 0 2014-11-24 13:17 /home/hduser/C45/bank/outputIntermediate/1
.
.
.
drwxr-xr-x - hduser supergroup 0 2014-11-24 13:19 /home/hduser/C45/bank/outputIntermediate/96
drwxr-xr-x - hduser supergroup 0 2014-11-24 13:19 /home/hduser/C45/bank/outputIntermediate/97
drwxr-xr-x - hduser supergroup 0 2014-11-24 13:19 /home/hduser/C45/bank/outputIntermediate/98
drwxr-xr-x - hduser supergroup 0 2014-11-24 13:19 /home/hduser/C45/bank/outputIntermediate/99
ls: `/home/hduser/C45/bank/rule.txt': No such file or directory
我对最后一行感到困惑。目录树是否已更新但文件创建失败了?
提前感谢您的帮助。