Hive LLAP低Vcore分配

时间:2018-06-22 22:26:59

标签: hive yarn

问题陈述:

配置单元LLAP守护程序不占用群集VCPU分配。 LLAP守护程序可使用80-100个内核,但只能使用16个。

摘要:

我正在使用2个D14_v2头节点,16个D14_V2工作器节点和3个A系列Zookeeper节点在Azure上测试Hive LLAP。 (D14_V2 = 112GB Ram / 12vcpu)

16个节点集群中的15个节点专用于LLAP

发行版是HDP 2.6.3.2-14

当前,群集总共有1.56TB的可用内存和128vcpu。会为LLAP守护程序分配适当的内存量,但是LLAP守护程序总共仅使用16vcpus(每个守护程序1 vcpu +滑块1 vcpu)。

配置:

我相关的配置单元配置如下:

  • hive.llap.daemon.num.executors = 10(每12个可用vcpu中的10个 节点)
  • 每个容器的纱线最大Vcores-8

其他

我一直在对群集进行负载测试,但无法再让更多vcpus参与该过程。任何想法或见解将不胜感激。

1 个答案:

答案 0 :(得分:0)

Resource Manager UI仅向您显示查询协调器和滑块的核心和内存分配,LLAP中的每个查询协调器占用1个核心和最少分配的Tez-AM内存(tez.am.resource.memory.mb)。要检查LLAP服务对HDP 2.6.3版本的实时核心使用情况,请执行以下步骤:

  

Ambari-> Hive->快速链接-> Grafana-> Hive LLAP概述->   执行插槽总数