名称节点如何更新HDFS中数据节点的可用性写入Hadoop

时间:2017-01-25 14:38:37

标签: hadoop hadoop2 hadoop-streaming

我有10个数据节点,复制因子是3,文件大小是150,块大小是64.因此文件将分成三个块B1,B2,B3。因此,客户端要求Name Node获取用于写入B1块的数据节点的可用性。我的问题是,Name节点将为客户端提供多少数据节点来写入B1块。 还有一个问题是B1,B2,B3的写入将如何并行或顺序发生

1 个答案:

答案 0 :(得分:2)

  1. 客户端只将数据写入一个数据节点,其余的复制由namenode指令上的数据节点本身完成。 Replica placement:当datanode从客户端接收块的数据时,datanode将数据保存在表示块的文件中,并同时将数据重新发送到另一个数据节点,该节点应该创建另一个块的复制品。

  2. 按顺序复制块