Hadoop集群和客户端连接

时间:2016-11-10 10:24:45

标签: hadoop hive client apache-pig cluster-computing

我有hadoop集群。现在我想将猪和蜂巢安装在另一台机器上作为客户端。客户端计算机不会是该集群的一部分,所以它可能吗?如果可能的话,我如何将该客户端机器与群集连接?

1 个答案:

答案 0 :(得分:0)

首先,如果你有Hadoop集群,那么你必须拥有主节点(Namenode)+ Slave节点(DataNode)

另一件事是客户端节点。 Hadoop集群的工作是: Hadoop Cluster

这里Namenode和Datanode形成Hadoop集群,客户端将作业提交给Namenode。

要实现此目的,客户端应具有与Namenode相同的Hadoop Distribution和配置副本。 然后,只有客户端才能知道Job Tracker正在运行哪个节点,以及Namenode的IP来访问HDFS数据。

转到Link1 Link2进行客户端配置。

根据您的问题

完成Hadoop集群配置(Master + slave + client)后。您需要执行以下步骤:

  1. 在主节点上安装Hive和Pig
  2. 在客户端节点上安装Hive和Pig
  3. 现在开始在客户端节点上编码pig / hive。
  4. 如果怀疑,请随意评论.... !!!!!!