纱线容量调度器并行化

Question

yarn中的capacity-scheduler是否在同一用户的同一队列上并行运行app。

例如：如果我们在具有相同用户的2个终端上有2个hive CLI，并且在两个终端上都启动了相同的查询，那么它们是在并行或顺序的默认队列上执行的。

目前，UI显示1正在运行，1处于暂挂状态：

有没有办法并行运行？

Answer 1

纱线容量计划程序以FIFO方式为在同一队列中提交的作业运行作业。例如，如果hive cli都被提交为默认队列，那么首先能够保护资源的将进入运行状态，而其他人将等待（仅当队列中没有足够的资源时）。

如果您想要并行执行 1）您可以在不同的队列中运行其他作业。您可以在纱线上启动作业时定义队列名称。 2）您需要以某种方式定义资源，以便两个作业都可以根据需要获得资源。