任何人都可以帮助我理解hadoop的数据存储概念吗?
据我了解,hadoop处理fs图像和数据块,fsimage和编辑日志路径存储在hdfs-site.xml中。但是数据块怎么样?任何人都可以帮助我吗?我有点困惑,/ user和/ tmp dir实际存在于文件系统中。
我使用此链接设置单个节点hadoop群集:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
答案 0 :(得分:3)
文件被分成块并存储在Hadoop分布式文件系统(HDFS)中。有关HDFS的说明,请参阅Yahoo HDFS module的Hadoop Tutorial。可以通过在终端中键入以下命令来查看存储在HDFS中的目录:hadoop dfs -ls
答案 1 :(得分:0)
Namenode的FSImage跟踪哪个Datanode具有哪些文件。在hdfs-site.xml文件中,配置“dfs.data.dir”定义datanode在文件系统上存储底层文件的位置。这可以是逗号分隔的目录列表(想想多个磁盘)。