我已经设置了一个基于Hadoop2的集群,其中包含一个namenode和两个datanode。 我也有一个边缘节点,我想在那里设置Hive。 我想以这样的方式配置/设置Hive,使其仅使用群集资源运行与查询相关的MapReduce作业。 通过一些谷歌搜索,似乎对于Hadoop1,设置以下属性可以完成这项工作(但不确定)。
<property>
<name>mapred.job.tracker</name>
<value>hostname:portno</value>
</property>
但是在Hadoop2的情况下,不确定要更改的正确属性是什么。 它会像下面这样吗?
<property>
<name>yarn.resourcemanager.address</name>
<value>namenodehostname:50040</value>
</property>
答案 0 :(得分:1)
边缘节点只是一个提交作业Map-reduce或Hive的界面。 边缘节点具有类似的conf文件,因此它可以将集群标识为一个整体。 因此,边缘节点侧不需要这样的单独配置。 提交作业时,它总是会在主要的hadoop集群中引用核心站点的纱线站点hive-site文件并采取相应的行动。 但是,您可以参考以下需要在Hadoop服务器端enter image description here
上配置的XML