HDFS块是如何顺序的

Question

当底层linux文件系统只有4KB的块大小且64MB块的写入不能顺序时，hdfs如何有一个64MB的顺序块。

对此有何想法？我无法得到任何解释

Answer 1

您可能会混淆“连续”和“顺序”这两个词。我们有顺序读/写（从/到磁盘）和“连续”磁盘空间分配。

64 MB的单个HDFS块将按顺序写入磁盘。因此，数据很可能被写入磁盘上的连续空间（由多个彼此相邻的块组成）。因此，与随机磁盘写入相比，磁盘/块碎片会低得多。

此外，顺序读/写比使用多个磁盘搜索的随机写快得多。有关详细信息，请参阅Difference between sequential write and random write。