当文件大于HDFS块大小时,获取不能寻求java异常

时间:2013-05-31 00:16:24

标签: hadoop hdfs

所以当我想处理一个大于我的hdfs块大小(64mb)的文件时,我得到以下异常:

    2013-05-31 01:49:46,252 WARN org.apache.hadoop.mapred.Child: Error running child
java.io.IOException: Can't seek!
    at org.apache.hadoop.hdfs.HftpFileSystem$3.seek(HftpFileSystem.java:359)
    at org.apache.hadoop.fs.FSDataInputStream.seek(FSDataInputStream.java:37)
    at org.apache.hadoop.mapreduce.lib.input.LineRecordReader.initialize(LineRecordReader.java:76)
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.initialize(MapTask.java:522)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:763)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)

我正在运行只有一个路径(一个文件)作为输入的作业。有趣的是,我实际上试图将文件分成两个较小的部分,每个部分都小于块大小,并且它以这种方式工作。比我连接文件并尝试使用连接文件并且它再次无法工作

我想我有配置问题,但我不知道是什么。我在Hadoop之上使用HBase,HBase似乎没有任何问题。

我将不胜感激任何想法/想法。提前谢谢!

1 个答案:

答案 0 :(得分:2)

HDFS-2457HDFS-2396中所述,hftp方案不支持seek操作,因此预计会出现此错误。 Hftp本质上是一个通过HTTP访问文件系统的协议,我不知道你为什么要使用它,但你应该转而使用hdfs代替肯定支持seek而你不应再有这个错误了。