如何在hadoop dfs中检查集群的完整路径

Question

hadoop dfs默认只有相对路径。例如

  

hadoop dfs -ls /   .... / tmp1 /   .... / tmp2 /

如何查看它来自哪个群集。完整的道路。

Answer 1

您只有一个群集是Hadoop群集，在此群集中，您有一个Namenode（可能添加了头像节点或备份节点）和多个数据节点。 HDFS在集群级别配置，因此namenode运行HDFS主组件，所有数据节点都运行HDFS从属组件，但从逻辑角度来看，集群中只有一个HDFS分散。

所以现在当你调用hadoop Dfs -ls命令时，你将获得HDFS的逻辑视图，它将显示每个节点上可用的文件系统视图。这是每个人都会在任何节点看到的。

HDFS配置说明了在名称节点和数据节点中配置HDFS的物理文件夹。打开你的conf / hdfs-sites.xml，它会显示物理路径是什么

<property>
 <name>dfs.name.dir</name>
 <value>FOLDER_INFO</value>
</property>
<property>
 <name>dfs.data.dir</name>
 <value>FOLDER_INFO</value>
</property>