谁将为hadoop中的块创建块ID?

时间:2017-01-26 05:59:48

标签: hadoop hadoop2 hadoop-streaming hadoop-partitioning

我想知道谁将在hadoop中为HDFS客户端或Name节点创建块ID。请告诉我。

1 个答案:

答案 0 :(得分:1)

NameNode分配块ID并将其提供给客户端。然后,客户端在与DataNode通信时使用此块ID将数据写入块中。

Apache JIRA HDFS-4645记录了当前用于分配块ID的设计。它使用从特定常量开始的单调递增ID。如果您对查看此代码感兴趣,请参阅Apache Hadoop代码库中的BlockIdManagerSequentialBlockIdGenerator类。