来自hbase / filesystem的hadoop namenode连接中EOF异常的含义是什么?

时间:2011-10-31 00:55:43

标签: java hadoop eof

这是关于java EOF异常的一般性问题,以及与jar互操作性相关的Hadoop的EOF异常。任何一个主题的评论和答案都是可以接受

背景

我注意到一些讨论隐藏异常的线程,这最终是由“readInt”方法引起的。这个例外似乎有一些与hadoop无关的通用含义,但最终是由Hadoop jar的互操作性引起的。

就我而言,当我尝试在java中的hadoop中创建一个新的FileSystem对象时,我得到了它。

问题

我的问题是:发生了什么以及为什么读取整数会引发EOF异常?什么“文件”是这个EOF异常引用的,如果两个jar不能互操作,为什么会抛出这样的异常呢?

其次,我也想知道如何解决这个错误,这样我就可以使用hdfs协议和java api远程连接和读/写hadoops文件系统....

java.io.IOException: Call to /10.0.1.37:50070 failed on local exception: java.io.EOFException
    at org.apache.hadoop.ipc.Client.wrapException(Client.java:1139)
    at org.apache.hadoop.ipc.Client.call(Client.java:1107)
    at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:226)
    at $Proxy0.getProtocolVersion(Unknown Source)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:398)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:384)
    at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:111)
    at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:213)
    at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:180)
    at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1514)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:67)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:1548)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1530)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:228)
    at sb.HadoopRemote.main(HadoopRemote.java:35)
Caused by: java.io.EOFException
    at java.io.DataInputStream.readInt(DataInputStream.java:375)
    at org.apache.hadoop.ipc.Client$Connection.receiveResponse(Client.java:819)
    at org.apache.hadoop.ipc.Client$Connection.run(Client.java:720)

2 个答案:

答案 0 :(得分:5)

关于hadoop:我修正了错误!您需要确保core-site.xml服务于0.0.0.0而不是127.0.0.1(localhost)。

如果您收到EOF异常,则表示该IP无法从外部访问该端口,因此hadoop客户端/服务器ipc之间无需读取数据。

答案 1 :(得分:2)

套接字上的EOFException意味着没有更多数据,并且对等方已关闭连接。