Hadoop将文件复制到hadoop文件系统

Question

我已将文件从本地复制到hdfs文件系统并且文件已复制 - / user / hduser / in

hduser@vagrant:/usr/local/hadoop/hadoop-1.2.1$ bin/hadoop fs -copyFromLocal /home/hduser/afile in

问题： - 1.默认情况下hadoop如何将文件复制到此目录 - / user / hduser / in ...这个映射在conf文件中指定在哪里？

Answer 1

如果您编写上述命令，该文件将被复制到用户的HDFS主目录，即/ home / 用户名。另见：HDFS Home Directory。

如果要将文件写入其他位置，可以使用绝对路径名（一个以＆＃34; /＆＃34;开头），就像在Linux文件系统中一样。

Answer 2

您使用的是默认虚拟机吗？基本上，如果您在不使用预配置yum包的情况下从二进制文件配置hadoop。它没有默认路径。但如果你通过hortin或cloudera vm使用yum。它带有默认路径我猜

Answer 3

检查hdfs-site.xml以查看默认的fs路径。所以＆＃34; /＆＃34;将指向上述XML中设置的基本URL。不使用主路径的命令中提到的任何文件夹都将附加到该文件夹​​中。

Answer 4

hadoop选择hdfs-site.xml中定义的默认路径并写入数据。 下面的图像清楚了如何在HDFS中工作。