Namenode的MetaData和Hive的Metastore

时间:2015-07-06 18:21:31

标签: hive metadata hdfs metastore

在Hadooop中,因为我们已经拥有NameNode的元数据,其中包含所有信息块,现在当我阅读Hive的Metastore时,我无法得到什么是使用MetaStore。为什么我们需要一个新的索引元数据。而不是使用新东西,为什么我们无法使用Namenode的元数据。

1 个答案:

答案 0 :(得分:2)

Namenode的元数据存储块位置。当您请求文件时,namenode会指向哪个三个数据节点(默认复制)特别托管该文件。 Namenode的元数据不会跟踪它存储的文件类型。

Hive的元数据存储了更多的映射。在Hive中创建表时,您可以定义底层数据应如何映射到列以及应将输入视为哪种类型的文件。 Hive Metastore会针对不同的表跟踪这一情况,例如,您可以使用Avro格式的一个表输入,另一个JSON,以及第三个作为简单的TSV文本文件。