当将一个巨大的文件加载到hadoop集群时，如果客户端在将数据传输到datanode时失败了会发生什么？

Question

例如，文件是1280MB，hdfs块是128MB，当发生什么时发生 客户端只转移了3个区块然后失败了？ NameNode是否获得3个块的文件或删除3个块？

Answer 1

不，它不会删除3个街区。所以这是它的工作原理，我们假设块4位于FSDataOuputStream维护的队列的下一个队列中。由于某些网络问题而写入一些x字节后，数据节点失败，首先关闭管道并删除写入该数据的任何数据，新的良好数据节点被赋予一个新的标识并被添加到队列中，并将其传递给name节点更新块4的元数据信息，然后数据将从该块的第1个字节开始写入新识别的datanode。 “权威指南”中的文件写入剖析将帮助您更好地理解它是如何完成的。