无法使用hdfs dfs命令复制hdfs中的数据

时间:2014-12-29 21:09:08

标签: linux hadoop hdfs

我试图通过hdfs复制数据。但是这些命令都不适合我。

我按照online tutorial安装了单个节点群集。它已正确安装,因为$jsp命令向我显示了所有6个作业。但是当我试图将文件复制到hdfs时,它显示我错误。

我正在运行的命令是

hduser@naren-Vostro-3560:~$ hdfs dfs -copyFromLocal /home/nare/Desktop/data/first.txt /app/hadoop/tmp

错误 14/12/30 02:18:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable copyFromLocal: '/app/hadoop/tmp': No such file or directory

我已获得输入文件的所有权限(first.txt)

naren@naren-Vostro-3560:~$ ls -al /home/naren/Desktop/data total 3612 drwxrwxr-x 2 naren naren 4096 Dec 30 01:40 . drwxr-xr-x 3 naren naren 4096 Dec 30 01:40 .. -rwxrwxrwx 1 naren naren 674570 Dec 30 01:37 first.txt -rwxrwxrwx 1 naren naren 1423803 Dec 30 01:39 second.txt -rwxrwxrwx 1 naren naren 1573151 Dec 30 01:40 third.txt

hdfs文件夹的权限对我来说也是正确的

hduser@naren-Vostro-3560:~$ ls -l /app/hadoop total 4 drwxr-x--- 5 hduser hadoop 4096 Dec 26 01:22 tmp

我是hadoop和linux的新手并且被困在这里。 我也尝试使用

创建新目录

hduser@naren-Vostro-3560:~$ hadoop fs -mkdir -p /user/hduser/sample

它并没有为我创建任何目录。

请让我知道我哪里出错了。

先谢谢!!

Hadoop版本:Hadoop 2.5.2 操作系统:Ubuntu 14.04

1 个答案:

答案 0 :(得分:0)

您需要确保在hdfs中创建/ app / hadoop,而不是本地fs。在检查目录时,使用ls -l检查本地文件系统,该文件系统与hdfs命名空间分开。尝试hadoop fs -ls / app / hadoop。如果它不在那里,那么用hadoop fs -mkdir创建它。 - snkherv