没有使用hadoop fs -mkdir创建的文件夹

时间:2016-07-19 09:40:31

标签: hadoop hive hadoop2

嘿我在Hadoop 2.0多节点群集中安装HIVE,我无法使用此命令创建文件夹:

[hadoop @ master~] $ $ HADOOP_HOME / bin / hadoop fs -mkdir / tmp

16/07/19 14:20:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

[hadoop @ master~] $ $ HADOOP_HOME / bin / hadoop fs -mkdir -p / user / hive / warehouse 16/07/19 14:24:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

重要的是我无法找到创建的文件夹?它会去哪里创造我不确定。请帮忙。

HPSop的JPS工作正常:
[hadoop @ master~] $ jps

2977 ResourceManager  
2613 DataNode  
3093 NodeManager  
2822 SecondaryNameNode  
2502 NameNode  
5642 Jps

1 个答案:

答案 0 :(得分:0)

运行-mkdir命令后收到的警告不会影响Hadoop功能。这只是一个警告,只是忽略它。有关详细信息,请参阅here

关于在root下创建目录,即“/”,它只是一次性活动,应该由超级用户完成。一旦你创建了像“/ tmp”,“/ user”等根目录,那么你可以创建像“/ user / hduser”这样的用户特定的foders并使用命令拥有它们:

sudo -u hdfs hdfs dfs -mkdir /tmp

OR

sudo -u hdfs hdfs dfs -mkdir -p /user/hive/warehouse

准备好主文件夹后,只需与将要使用它的用户拥有它:

sudo -u hdfs hdfs dfs -chown hduser:hadoop /user/hive/warehouse

如果要查找在HDFS上创建的文件/目录,则必须仅使用CLI命令与HDFS文件系统进行交互

e.g。 hdfs dfs -ls /

在HDFS上创建的数据也有本地文件系统的物理位置,但您不会将该位置视为文件和目录。在您的安装下的'hdfs-site.xml'中查找dfs.namenode.name.dirdfs.datanode.data.dir属性,通常位于:“/ usr / local / hadoop / etc / hadoop / drfs-site.xml”< / p>