所以当我想处理一个大于我的hdfs块大小(64mb)的文件时,我得到以下异常:
2013-05-31 01:49:46,252 WARN org.apache.hadoop.mapred.Child: Error running child
java.io.IOException: Can't seek!
at org.apache.hadoop.hdfs.HftpFileSystem$3.seek(HftpFileSystem.java:359)
at org.apache.hadoop.fs.FSDataInputStream.seek(FSDataInputStream.java:37)
at org.apache.hadoop.mapreduce.lib.input.LineRecordReader.initialize(LineRecordReader.java:76)
at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.initialize(MapTask.java:522)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:763)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
at org.apache.hadoop.mapred.Child.main(Child.java:249)
我正在运行只有一个路径(一个文件)作为输入的作业。有趣的是,我实际上试图将文件分成两个较小的部分,每个部分都小于块大小,并且它以这种方式工作。比我连接文件并尝试使用连接文件并且它再次无法工作
我想我有配置问题,但我不知道是什么。我在Hadoop之上使用HBase,HBase似乎没有任何问题。
我将不胜感激任何想法/想法。提前谢谢!