我已经开始在hadoop工作,我是初学者。我已经在ubuntu 15.04 64位中安装了hadoop-2.6.0。 像start-all.sh,start-dfs.sh等的commond工作得很好。
当我尝试将本地文件系统移动到HDFS时,我遇到了问题。
与copyFromLocal命令类似: hadoop dfs -copyFromLocal~ / Hadoop / test / text2.txt~ / Hadoop / test_hds / input.txt 已弃用:不建议使用此脚本执行hdfs命令。 而是使用hdfs命令。
15/06/04 23:18:29 WARN util.NativeCodeLoader:无法为您的平台加载native-hadoop库...使用适用的builtin-java类 copyFromLocal:从royaljay-Inspiron-N4010 / 127.0.1.1调用localhost:9000连接异常失败:java.net.ConnectException:连接被拒绝;有关详细信息,请参阅:http://wiki.apache.org/hadoop/ConnectionRefused
mkdir命令中的相同问题:
hadoop dfs -put~ / test / test / test1.txt hd.txt 已弃用:不建议使用此脚本执行hdfs命令。 而是使用hdfs命令。
15/06/03 20:49:18 WARN util.NativeCodeLoader:无法为您的平台加载native-hadoop库...使用适用的builtin-java类
put:无法创建file / user / hduser / hd.txt。 COPYING 。名称节点处于安全模式。
我找到了许多解决方案,但没有人在努力。
如果有人对此有所了解,请告诉我。
答案 0 :(得分:3)
DEPRECATED:不建议使用此脚本执行hdfs命令。 而是使用hdfs命令。
您不应使用hadoop dfs
,而是使用以下命令:
hdfs dfs -copyFromLocal ...
请勿使用~
,而应提及/home/hadoop/Hadoop/test/text2.txt
从royaljay-Inspiron-N4010 / 127.0.1.1 致电localhost:9000失败 连接异常:java.net.ConnectException:Connection 拒绝;有关更多详情,请参阅 http://wiki.apache.org/hadoop/ConnectionRefused
127.0.1.1
会导致环回问题。从127.0.1.1
删除/etc/hosts
行。
注意:要将文件从本地文件系统复制到HDFS,请尝试使用 -put 命令而不是 -copyFromLocal 。