容量调度程序

Question

Capacity Scheduler允许沿组织线共享Hadoop集群，从而为每个组织分配整个集群的特定容量。 我想知道如果大数据来了，那么分配给某个队列的容量会自动改变吗？

Answer 1

在容量调度程序配置中，我们定义yarn.scheduler.capacity.root.<queue name>.capacity和yarn.scheduler.capacity.root.<queue name>.maximum-capacity

yarn.scheduler.capacity.root.<queue name>.capacity是队列的容量，而yarn.scheduler.capacity.root.<queue name>.maximum-capacity是该队列中所有作业/用户可以使用的最大资源

如果有大数据，则分配给某个队列的容量将自动更改。

不，队列大小是固定的，并且不会根据输入数据量自动更改。 您可以在capacity-scheduler.xml中手动更改它，然后按yarn rmadmin -refreshQueues

刷新队列

您可以编写一个脚本，根据输入数据量更新（并刷新）队列容量，但我不认为这是推荐的。