什么是Hadoop块抽象。需要更多细节

Question

我正在阅读Hadoop权威指南，并未通过以下概念清除。

1. 阻止抽象，有人可以详细说明这一点。

2. 使抽象单元成为块而不是文件简化了存储子系统。

   a。）什么是块的抽象单元？

   b。）如何制作抽象单位？

   c。）它如何简化存储子系统？

Answer 1

HDFS块抽象：

HDFS块大小为64MB-128MB（通常），与其他文件系统不同，小于块大小的文件不会占用整个块大小的内存。

块大小保持很大，因此与数据传输速率相比，磁盘搜索的时间更短。

为什么要阻止抽象：

• 文件可以比单个磁盘大
• 文件系统元数据不需要与每个块相关联。
• 简化存储管理 - 轻松找出每个磁盘上可存储的块数。
• 可以在每个块的基础上轻松完成容错和存储复制（可以在各个块上运行存储/ HA策略）。

Answer 2

HDFS在某些方面只是另一个文件系统，它和所有其他文件系统一样，将文件分成块。这里的主要区别是块很大（例如：128MB）而不是小块（例如：4KB），并且每个块都在较大的HDFS架构中的不同服务器上复制。

我们大多数人都没有直接使用块，我们处理文件，有人可能认为这个＆＃34;阻止抽象＆＃34;真的有两个目的。

• 首先，它通过继续添加服务器让存储子系统（HDFS）扩展到大规模水平。
• 其次，它允许框架（如MapReduce，TEZ，HBase，Spark等）在处理逻辑完整文件时将其战术工作与这些块对齐。