Hive LLAP低Vcore分配

Question

问题陈述：

配置单元LLAP守护程序不占用群集VCPU分配。 LLAP守护程序可使用80-100个内核，但只能使用16个。

摘要：

我正在使用2个D14_v2头节点，16个D14_V2工作器节点和3个A系列Zookeeper节点在Azure上测试Hive LLAP。 （D14_V2 = 112GB Ram / 12vcpu）

16个节点集群中的15个节点专用于LLAP

发行版是HDP 2.6.3.2-14

当前，群集总共有1.56TB的可用内存和128vcpu。会为LLAP守护程序分配适当的内存量，但是LLAP守护程序总共仅使用16vcpus（每个守护程序1 vcpu +滑块1 vcpu）。

配置：

我相关的配置单元配置如下：

• hive.llap.daemon.num.executors = 10（每12个可用vcpu中的10个 节点）
• 每个容器的纱线最大Vcores-8

其他

：

我一直在对群集进行负载测试，但无法再让更多vcpus参与该过程。任何想法或见解将不胜感激。

Answer 1

Resource Manager UI仅向您显示查询协调器和滑块的核心和内存分配，LLAP中的每个查询协调器占用1个核心和最少分配的Tez-AM内存（tez.am.resource.memory.mb）。要检查LLAP服务对HDP 2.6.3版本的实时核心使用情况，请执行以下步骤：

  

Ambari-> Hive->快速链接-> Grafana-> Hive LLAP概述->   执行插槽总数