我们最近将Yarn资源管理器守护程序从静态计算机移动到云计算机。正在使用相同的配置。 yarn-site.xml和capacity-scheduler.xml,如前所述,包含机器名称更改。
群集的其余部分是静态和云计算机的混合。 资源管理器UI将所有节点显示为实时节点,并且可以准确报告内存和vcore的可用容量。
root.default stats: default: capacity=0.9,
absoluteCapacity=0.9,
usedResources=<memory:12288, vCores:6>
usedCapacity=0.043290164,
absoluteUsedCapacity=0.038961038,
numApps=7,
numContainers=6
Queue configuration details :
Queue State: RUNNING
Used Capacity: 3.6%
Absolute Used Capacity: 3.2%
Absolute Capacity: 90.0%
Absolute Max Capacity: 95.0%
Used Resources: <memory:10240, vCores:5>
Num Schedulable Applications: 5
Num Non-Schedulable Applications: 0
Num Containers: 5
Max Applications: 9000
Max Applications Per User: 9000
Max Schedulable Applications: 29260
Max Schedulable Applications Per User: 27720
Configured Capacity: 90.0%
Configured Max Capacity: 95.0%
Configured Minimum User Limit Percent: 100%
Configured User Limit Factor: 1.0
Active users: thirdeye <Memory: 10240 (100.00%), vCores: 5 (100.00%), Schedulable Apps: 5, Non-Schedulable Apps: 0>
在任何时间点,只分配了4-6个集装箱。这些都在群集的静态和云节点管理器上分配。
可能是群集资源利用不足的原因。
提交的工作正在堆积(现在是7K)