我在猪身上做了一些实验(hadoop模式)。 我将样本数据加载到HDFS中,
a A 1 b B 2 c C 3 a AA 11 a AAA 111 b BB 22
HDFS:// ####### /数据/一个
然后我登录了grunt shell,我解雇了ls
。我可以在hdfs中看到该文件。
我加载了这样的数据: data =使用PigStorage();
加载'data / one'然后我解雇了dump data
,但我收到了这样的错误
Failed Jobs:
JobId Alias Feature Message Outputs
job_201111102206_22874 data MAP_ONLY Message: Job failed! Error - Job initialization failed:
org.apache.hadoop.fs.FSError: java.io.IOException: No space left on device
.
.
.
2011-12-17 23:48:32,687 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Failed!
2011-12-17 23:48:32,689 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1066: Unable to open iterator for alias <b>data</b>
我执行了多次这个过程,它对我有用但现在不行,而且在本地模式下运行良好。
最后,我检查了数据,没有不必要的空间。
有什么建议吗?
答案 0 :(得分:0)
我建议处理查询的从属节点磁盘空间不足。