我得到了这个奇怪的例外。我在Hadoop 2.6.4上使用Spark 1.6.0并在YARN集群上提交Spark作业。
16/07/23 20:05:21 WARN hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block BP-532134798-128.110.152.143-1469321545728:blk_1073741865_1041
java.io.EOFException: Premature EOF: no length prefix available
at org.apache.hadoop.hdfs.protocolPB.PBHelper.vintPrefixed(PBHelper.java:2203)
at org.apache.hadoop.hdfs.protocol.datatransfer.PipelineAck.readFields(PipelineAck.java:176)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer$ResponseProcessor.run(DFSOutputStream.java:867)
16/07/23 20:49:09 ERROR server.TransportRequestHandler: Error sending result RpcResponse{requestId=4719626006875125240, body=NioManagedBuffer{buf=java.nio.HeapByteBuffer[pos=0 lim=81 cap=81]}} to ms0440.utah.cloudlab.us/128.110.152.175:58944; closing connection
java.nio.channels.ClosedChannelException
我在Hadoop 2.6.0上运行时遇到此错误，并认为异常可能是this之类的错误，但在将此更改为Hadoop 2.6.4之后我得到了同样的错误。没有任何内存问题，我的群集适用于HDFS和内存。我经历了this和this，但没有运气。
注意：1。我使用的是Apache Hadoop和Spark，而不是任何CDH / HDP。 2.我能够在HDFS中复制数据，甚至能够在此群集上执行另一个作业。