HDFS上的文件块

Question

Hadoop是否保证来自同一文件的不同块将存储在群集中的不同计算机上？显然，复制的块将在不同的机器上。

Answer 1

没有。如果查看HDFS Architecture Guide，您会看到（在图中）文件part-1的复制因子为3，并且由标记为2,4和5的三个块组成。在一种情况下，块2和5如何在同一个Datanode上。

Answer 2

显然不是：http://hadoop.apache.org/common/docs/r0.20.2/hdfs_user_guide.html#Rebalancer

Answer 3

相反，我认为。抛开复制，每个datanode将每个数据块作为自己的文件存储在本地文件系统中。

Answer 4

Hadoop并不能保证。由于这是一个巨大的安全性损失，如果您在作业中请求文件，则崩溃的datanode将导致整个作业失败。仅仅因为一个块不可用。无法想象你的问题的用例，也许你可以多说一点，了解你的意图是什么。