问题陈述:
配置单元LLAP守护程序不占用群集VCPU分配。 LLAP守护程序可使用80-100个内核,但只能使用16个。
摘要:
我正在使用2个D14_v2头节点,16个D14_V2工作器节点和3个A系列Zookeeper节点在Azure上测试Hive LLAP。 (D14_V2 = 112GB Ram / 12vcpu)
16个节点集群中的15个节点专用于LLAP
发行版是HDP 2.6.3.2-14
当前,群集总共有1.56TB的可用内存和128vcpu。会为LLAP守护程序分配适当的内存量,但是LLAP守护程序总共仅使用16vcpus(每个守护程序1 vcpu +滑块1 vcpu)。
配置:
我相关的配置单元配置如下:
其他
:我一直在对群集进行负载测试,但无法再让更多vcpus参与该过程。任何想法或见解将不胜感激。
答案 0 :(得分:0)
Resource Manager UI仅向您显示查询协调器和滑块的核心和内存分配,LLAP中的每个查询协调器占用1个核心和最少分配的Tez-AM内存(tez.am.resource.memory.mb)。要检查LLAP服务对HDP 2.6.3版本的实时核心使用情况,请执行以下步骤:
Ambari-> Hive->快速链接-> Grafana-> Hive LLAP概述-> 执行插槽总数