Question

运行我的第一个map-reduce程序。我使用

在hdfs中创建了一个目录

hdfs dfs -mkdir input

以这种方式创建的目录驻留在hdfs home目录中，即/ usr / hdfs（..？）但我找不到我在linux操作系统中创建的目录'input'。有什么想法吗？

Answer 1

它在hdfs-default.xml中定义：

dfs.datanode.data.dir

确定DFS数据节点应存储在本地文件系统上的何处   它的块。如果这是逗号分隔的目录列表，那么   数据将存储在所有命名目录中，通常位于不同的目录中   设备。不存在的目录将被忽略。

默认值为：

文件：// $ {hadoop.tmp.dir} / DFS /数据

可以在core-default.xml中找到有关 hadoop.tmp.dir 的详细信息。

Answer 2

实际上我们无法直接看到hdfs目录，因此有两种方法可以在hdfs文件系统位置查看该文件

第一种方法来自终端

mUp

这样你就可以在＆＃39; cloudera＆＃39;中看到hdfs文件系统中的文件。命名目录

第二种方法是使用浏览器。

http://localhost:50070在这里你必须去浏览文件系统并查看存储在hdfs文件系统中的所有文件。

Answer 3

另一种直接映射目录的方法是使用块设备驱动程序，例如hadoop-fuse：

  yum install hadoop-hdfs-fuse
  mkdir -p <mount_point>
  hadoop-fuse-dfs dfs://<name_node_hostname>:<namenode_port(def:8082)> <mount_point>