在Hadoop中,存储在dfs.data.dir中的内容(在hdfs-site.xml参数中)&我们使用dfs -mkdir创建的导演

时间:2013-10-11 00:34:37

标签: hadoop hdfs

我创建了一个如下目录,并使用以下语法

创建hive表

A) 1)dfs -mkdir / app / hadoop / warehouse /

2)创建表employee(empid int,name string,surname string) 行格式分隔 字段以','结尾 location'/ app / hadoop / warehouse /';

3)在路径'/输入文件位置.txt'中加载数据 覆盖到表employee;

如果我的理解是正确的,所有块都存储在/ app / hadoop / warehouse /目录下。请确认 ?


b)hdfs-site.xml中dfs.data.dir参数的用途是什么,我们在这里提到的目录是什么?


c)我们在步骤b)中应该提到我们作为步骤a)的一部分创建的目录是什么?

我感谢您的澄清

由于 纳温

1 个答案:

答案 0 :(得分:2)

1)查看Apache文档here,了解有关dfs.data.dir和其他属性的更多详细信息。

2)文件系统是原始数据的抽象,因此这些块不存储在/ app / hadoop / warehouse /文件夹中。这些块存储在DN中,由hdfs-site.xml中的dfs.data.dir属性指定。

3)在Hive中,逻辑表应与HDFS中的数据相关联。因此,应在创建表时指定HDFS中的文件夹名称。