Hadoop Data Persistence以哪种格式?

时间:2010-09-19 18:49:12

标签: hadoop mapreduce

  1. 我对Lucene有一些经验,我试图了解数据在Hadoop框架中如何实际存储在从服务器中?

  2. 我们是否在Slave Server中使用一组属性创建索引来描述我们正在存储的文档?它在现实中是如何运作的?

1 个答案:

答案 0 :(得分:0)

将数据拆分为特定大小的块,然后将其复制到群集中的其他节点以确保可靠性。此过程由单个“名称节点”处理,该节点跟踪哪些数据块已经到达何处。

Hadoop为您提供了类似于Unix的虚拟文件系统,您可以使用各种Hadoop filesystem tools(ls,get,put等)查询

This link应该为您提供全面的概述。