Question

我尝试使用以下命令将文件复制到hdfs。文件名是googlebooks-eng .... etc ....

当我尝试在hdfs中列出文件时，我没有看到列出的文件名。实际的文件名是什么？

hadoop-user@hadoop-desk:~/hadoop$ bin/hadoop dfs -put /home/hadoop-user/googlebooks-eng-all-1gram-20120701-0 /user/prema
hadoop-user@hadoop-desk:~/hadoop$ bin/hadoop dfs -ls /user/prema
Found 1 items
-rw-r--r--   1 hadoop-user supergroup  192403080 2014-11-19 02:43 /user/prema

Answer 1

几乎所有hadoop dfs实用程序都遵循unix样式。 hadoop dfs -put的语法是

hadoop dfs -put <source_file> <destination>。这里目的地可以是目录或文件。在您的情况下/ user目录存在但目录prema不存在，因此当您将文件从本地复制到hdfs时，prema将用于该文件的名称。 googlebooks-eng-all-1gram-20120701-0和/user/prema是同一个文件。

如果要保留文件名。您需要删除现有文件并在复制前创建新目录/ user / prema;

bin/hadoop dfs -rm /user/prema;
bin/hadoop dfs -mkdir /user/prema;
bin/hadoop dfs -put /home/hadoop-user/googlebooks-eng-all-1gram-20120701-0 /user/prema

现在您应该能够在hdfs目录/ user / prema

中看到该文件

bin/hadoop dfs -rm /user/prema

Hadoop hdfs无法找到文件

1 个答案: