是否可以在同一节点中运行Hive和Pig?

时间:2014-06-10 01:02:58

标签: hadoop hive apache-pig cluster-computing

我是Hadoop的新手,但我一直在尝试为大学项目创建一个单节点群集。我的目标是将mapreduce作业执行到相同的数据中,但在使用不同的基于Hadoop的软件时,这些是Hive和Pig。 所以,我想知道我是否可以在同一节点中安装和运行Hive和Pig?在同一个集群中,请求它有超过10个节点。

1 个答案:

答案 0 :(得分:0)

对于大学项目,可以创建单节点集群(确保hadoop安装在Pseudo-distributed模式 - master,slave在同一台机器上)。

您可以在同一节点上安装配置单元和猪,因为它们都只是用于在hadoop-pseudo集群上启动MR作业的CLI / Shell。

在不同的终端中按以下方式启动:

HIVE> $ hive

PIG:> $ pig -x mapreduce // hadoop-mode

实际上Pig grunt或hive shell只是为集群提供作业的接口(Say 1或10节点集群),在这种情况下,pig或hive shell就像Client一样。在任何节点上安装都不重要。