Question

我正在尝试按照本教程配置我的群集 -

https://developer.yahoo.com/hadoop/tutorial/module2.html


<configuration>
  <property>
    <name>fs.default.name</name>

    <value>hdfs://192.168.71.128:9000</value>
  </property>
  <property>
    <name>dfs.data.dir</name>

    <value>/home/hadoop-user/hdfs/data</value>
  </property>
  <property>
    <name>dfs.name.dir</name>

    <value>/home/hadoop-user/hdfs/name</value>
  </property>
</configuration>

我还使用以下命令将本地文件复制到/ user / prema /

hadoop-user@hadoop-desk:~/hadoop$ bin/hadoop dfs -put /home/hadoop-user/googlebooks-eng-all-1gram-20120701-0 /user/prema
hadoop-user@hadoop-desk:~/hadoop$ bin/hadoop dfs -ls /user/prema
Found 1 items
-rw-r--r--   1 hadoop-user supergroup  192403080 2014-11-19 02:43 /user/prema

现在，我很困惑。我有数据文件 - / user / prema但群集配置中的数据节点指向此 - /home/hadoop-user/hdfs/data..How它是否相关？

Answer 1

/user/prema是HDFS中的文件夹。文件夹/home/hadoop-user/hdfs/data是常规文件系统中的文件夹。

常规文件系统文件夹是HDFS存储其数据的位置。因此，当您从HDFS读取数据时，它实际上会转到物理常规文件系统文件夹来读取数据。您永远不需要触摸这些数据，因为它的格式不是非常用户友好 - HDFS会为您处理数据操作。

群集配置和hdfs

1 个答案: