我已经使用CopyFromLocal上传到HDFS一个大文件,该文件被分成较小的块,这些块分布在我的数据节点上。我对HDFS如何选择放置这些块的位置感兴趣 - 它是否为每个块完全随机选择一个datanode(无论datanode已经拥有多少块或者它的备用容量?)或者是否有选择背后的方法?这与上传许多(小)文件时的规则相同吗?
我知道有复制品放置的规则,但目前我不是在查看复制文件放置的细节,而是查看原始文件本身的位置。
欢呼声 埃利
答案 0 :(得分:0)
Rack Awareness是一个概念,NameNode知道哪个数据节点驻留在哪个Rack中,以及哪个datanode应该选择。