生产级别Hive和Sqoop配置

Question

我对生产级别的HIVE配置有一些疑问。 如果远程进行HDFS设置：

1. 我必须在哪里安装Hive才能根据HDFS中的数据运行HQL查询？在Hive中需要进行哪些配置？

2. Metastore db将位于何处？

3. 如果我想安装Sqoop，那么它可以将数据从本地RDBMS提取到远程HDFS，它应该安装在哪里？

Answer 1

Hive Server应安装在主节点上，如HDFS NameNode和Secondary NameNode（请参阅此示例模式http://pivotalhd.docs.pivotal.io/docs/01-RawContent/Getting-Started/PHD2_Typical_Cluster_Topology.png）。但是你还需要安装YARN。

Sqoop通常安装在客户端（边缘）节点上。

如果你使用像Hortonworks或Cloudera这样的发行版，它们会包含一个带有向导的管理器，以简化Hive，YARN，HBase等所有服务的部署。