hdfs中分配的hdfs / user空间在哪里

时间:2015-02-21 14:21:04

标签: hadoop hdfs

我很困惑在哪里分配了hdfs /用户空间。它在Linux文件系统中不可见。但是在hdfs中有一个名为/ user的目录。我想这是来自配置?是在集群中的所有节点上创建的吗?

% hadoop fs -mkdir books
% hadoop fs -ls .
Found 2 items
drwxr-xr-x - tom supergroup 0 2009-04-02 22:41 /user/tom/books
-rw-r--r-- 1 tom supergroup 118 2009-04-02 22:29 /user/tom/quangle.txt

1 个答案:

答案 0 :(得分:0)

您可能已经读过HDFS是一个分布式文件系统,运行在ext3,4,xfs等文件系统之上。如果使用linux ls命令,您将无法看到这些文件。 HDFS有两部分HDFS元数据目录(名称目录)和数据目录。创建目录时,会将一个条目添加到HDFS元数据,这是一个文件(fsimage),位于hdfs namenode目录中。在文件的情况下,将条目添加到HDFS元数据中,并且底层数据将作为块存储在不同的从节点中,并且元数据包含指向这些块的指针。

在HDFS中,元数据是集中的意味着HDFS元数据将仅存储在namenode服务器上(通常一个服务器,如果HA启用了两个服务器将存在)。而基础数据将以分布式存储。

您可以选择查看fsimage(HDFS元数据)文件的内容,HDFS提供了一个实用程序oiv(离线图像视图),可用于查看fsimage文件的内容

Usage : hdfs oiv -i Fsimage_File -o output_file