在hadoop的映射阶段写入本地文件

时间:2012-09-14 01:09:30

标签: hadoop mapreduce

Hadoop将中间结果写入本地磁盘,并将reducer的结果写入HDFS。 HDFS是什么意思。它实际上转化为什么

2 个答案:

答案 0 :(得分:2)

HDFS是Hadoop分布式文件系统。物理上,它是在群集的每个节点上运行的程序,它提供与本地文件系统非常相似的文件系统接口。但是,写入HDFS的数据不仅存储在本地磁盘上,而且还分布在群集中的磁盘上。存储在HDFS中的数据通常也会被复制,因此同一数据块可能会出现在群集中的多个节点上。这提供了可靠的访问,因此一个节点崩溃或忙碌不会阻止某人从HDFS读取任何特定的数据块。

查看http://en.wikipedia.org/wiki/Hadoop_Distributed_File_System#Hadoop_Distributed_File_System了解详情。

答案 1 :(得分:2)

正如Chase所说,HDFS是Hadoop分布式文件系统。

如果可以的话,我推荐本教程以及有关HDFS和Map / Reduce框架如何工作的视频,并将为您提供Hadoop世界的指南:http://www.cloudera.com/resource/introduction-to-apache-mapreduce-and-hdfs/