HDFS如何在CopyFromLocal中分发新块或文件

时间:2013-04-24 16:30:38

标签: hdfs

我已经使用CopyFromLocal上传到HDFS一个大文件,该文件被分成较小的块,这些块分布在我的数据节点上。我对HDFS如何选择放置这些块的位置感兴趣 - 它是否为每个块完全随机选择一个datanode(无论datanode已经拥有多少块或者它的备用容量?)或者是否有选择背后的方法?这与上传许多(小)文件时的规则相同吗?

我知道有复制品放置的规则,但目前我不是在查看复制文件放置的细节,而是查看原始文件本身的位置。

欢呼声 埃利

1 个答案:

答案 0 :(得分:0)

Rack Awareness是一个概念,NameNode知道哪个数据节点驻留在哪个Rack中,以及哪个datanode应该选择。