在Apache分布式或多节点集群环境中安装Apache Hive

时间:2016-01-11 18:10:43

标签: hadoop hive hbase hdfs hadoop2

我在PC上的多节点环境中安装了hadoop,如下所示

1:4个虚拟盒实例加载了ubuntu(14.04)

2:1主节点,2从节点和剩余vm实例作为客户端

注意:所有4个VM都在我自己的电脑上运行

我能够在上面提到的设置上成功完成apace-2.6 hadoop设置。现在我想安装配置单元以进行一些数据汇总,查询和分析。

但我不确定如何继续前进。我在下面提到的问题很少:

Q1:我是否需要在所有节点(主/名称节点和从属/数据节点)上安装/设置Apache Hive(0.14)?或者它只在主节点上?

Q2:用于处理元存储的模式是本地模式还是远程模式?

问:如果我想将mysql用于hive元存储,我应该将它安装在master / name节点本身上还是我需要为此使用单独的客户端机器?

如果要配置Metastore有任何步骤,请有人也可以分享一下吗?在多节点/伪分布式环境中。

BR, 圣

1 个答案:

答案 0 :(得分:1)

您只需安装一次所需的Hive服务(HiveServer2,Metastore,WebHCat)。在您的实验室场景中,您可能会将它们放在主站上。然后客户端可以运行Beeline(HiveServer2客户端。)

如果将Metastore配置为Local,Hive将使用本地Derby数据库。同样,对于您的实验室设置,这可能正是您需要/想要的。

在生产场景中,你会

  • 设置专用服务器以支持不应使用namenode进程争夺资源的服务
  • 并为Metastore数据库使用专用数据库服务器,该服务器将是远程数据库。