在hadoop集群中,是否应该在所有节点上安装配置单元?

时间:2011-12-10 11:19:42

标签: hadoop cluster-computing hive

我是Hadoop / Hive的新手,我刚刚开始阅读文档。有很多关于在群集模式下安装Hadoop的博客。另外,我知道Hive运行在Hadoop之上。 我的问题是:Hadoop安装在所有集群节点上。我是否还应该在所有群集节点上或仅在主节点上安装Hive?

3 个答案:

答案 0 :(得分:26)

不,这不是您在工作节点上安装的内容。 Hive是一个Hadoop客户端。只需根据您在Hive site上看到的说明运行Hive。

答案 1 :(得分:0)

不需要在群集上安装配置单元,客户端计算机需要配置单元来提交作业。 这是Cloudera hive installation Guide

答案 2 :(得分:0)

Hive主要用于处理Hadoop中的结构化和半结构化数据。我们还可以使用Hive执行分析大型数据集,这些数据集存在于HDFS和Amazon S3文件系统中。为了查询数据,hive还提供了称为HiveQL的查询语言,类似于SQL。使用Hive可以轻松地为数据分析运行Ad-hoc查询。使用Hive我们不需要编写复杂的Map-Reduce作业,我们只需要提交SQL查询。 Hive将这些SQL查询转换为MapReduce作业。

最后,Hive SQL将转换为MapReduce作业,我们不必从Hadoop集群中的所有节点提交MapReduce作业,就像我们不需要在所有节点中安装Hive一样Hadoop集群