我是Hadoop的新手,但我一直在尝试为大学项目创建一个单节点群集。我的目标是将mapreduce作业执行到相同的数据中,但在使用不同的基于Hadoop的软件时,这些是Hive和Pig。 所以,我想知道我是否可以在同一节点中安装和运行Hive和Pig?在同一个集群中,请求它有超过10个节点。
答案 0 :(得分:0)
对于大学项目,可以创建单节点集群(确保hadoop安装在Pseudo-distributed模式 - master,slave在同一台机器上)。
您可以在同一节点上安装配置单元和猪,因为它们都只是用于在hadoop-pseudo集群上启动MR作业的CLI / Shell。
在不同的终端中按以下方式启动:
HIVE> $ hive
PIG:> $ pig -x mapreduce // hadoop-mode
实际上Pig grunt或hive shell只是为集群提供作业的接口(Say 1或10节点集群),在这种情况下,pig或hive shell就像Client一样。在任何节点上安装都不重要。