hadoop HDFS块大小考虑因素

Question

有人可以告诉我设置HDFS块大小，以下哪个考虑因素最不重要。

1. namenode上的内存量
2. 名称节点数。
3. 将存储在HDFS中的文件数
4. 将存储在HDFS中的典型文件的大小
5. namenode的磁盘容量。

Answer 1

我认为重要的是： 1. namenode上的内存量 - 更多的内存意味着你可以允许更多的块，使它们更小。
2.总有一个名字节点。辅助名称节点不会影响可伸缩性。
3.您想要存储的文件越大，您需要的块越大。
4.使块大小远远超过典型的文件大小毫无意义。换句话说 - 如果您的典型文件是几十MB - 块大小doez并不重要。
5.通常无关紧要，因为NameNode将所有内容存储在内存中，并且通常磁盘要大得多。

我会告诉大多数情况下更大的块大小更好，因为你获得了NameNode内存，你可以减少开销中的地图任务数量，如果有足够的文件需要处理 - 你可以在任何任务中使用你的所有任务跟踪器案件。