如果我在HDFS中复制文件,并且文件NameNode的复制失败。
接下来会发生什么,我们是否无法进一步复制文件并且进程正在回滚。
或者文件被复制,如果发生这种情况,那么Hadoop如何管理这个过程?
答案 0 :(得分:0)
复制时,每个文件都被复制为独立块组,如果复制了所有文件块,则只通知客户端,否则进程失败
假设您正在复制100mb的abc.txt,因此它以块的形式复制(默认为64 mb),对于每个块,客户端连接namenode并获取datanode的地址以实际存储块,因此假设1块正在复制并且namenode下降然后在第二个块当客户端再次连接到datanode以获取地址时将收到错误
连接异常失败:java.net.ConnectException:拒绝连接