hadoop不会遭受磁盘搜索,因为它位于linux文件系统之上?

时间:2015-06-12 19:35:20

标签: hadoop hdfs

我是Hadoop的新手,我知道HDFS每块64 MB(分钟),并且可以根据系统增加。但由于hdfs安装在linux文件系统的顶部,每块4kb,hadoop不会遭受磁盘搜索吗?还有hdfs与linux文件系统交互吗?

1 个答案:

答案 0 :(得分:0)

你的想法在某种程度上是正确的,但从更大的角度来看。当这个64 MB存储在Linux文件系统上时,它分布在许多节点上。因此,如果您想要读取存储在3个不同Linux文件系统(机器)上的3个块(每个4 KB),则搜索将仅用于1个搜索,而不是3个搜索,因为读取将并行。

我认为这可能会有所帮助: How are HDFS files getting stored on underlying OS filesystem?