标签: hadoop hadoop2 hadoop-streaming hadoop-partitioning
我想知道谁将在hadoop中为HDFS客户端或Name节点创建块ID。请告诉我。
答案 0 :(得分:1)
NameNode分配块ID并将其提供给客户端。然后,客户端在与DataNode通信时使用此块ID将数据写入块中。
Apache JIRA HDFS-4645记录了当前用于分配块ID的设计。它使用从特定常量开始的单调递增ID。如果您对查看此代码感兴趣,请参阅Apache Hadoop代码库中的BlockIdManager和SequentialBlockIdGenerator类。