将qsub作业的数量限制为低于作业限制

Question

我正在尝试在Bright计算群集上对我的学习模型进行参数调整，由于调整的参数数量，这需要大量的作业。每个参数组合需要大约162个qsub作业。我需要检查大约50种参数组合。这相当于运行162 * 50~ = 8100个工作。但是，我正在使用的群集上的每个帐户有一个350 qsub作业限制。因此我想知道在bash脚本中是否有办法检查当前活动的qsub作业的数量，这样我就可以有效地自动启动新作业的过程。

Answer 1

您是否已尝试使用作业阵列？你没有指定你正在使用的调度程序（PBS，OGE，...），但应该有一种方法来定义一个作业数组，并且在整个数组中，限制真正运行的任务数量一时间在PBS

#PBS -t 1-1000%100

创建一个千个作业数组，限制一次有效运行的任务数量。 如果你真的想找到一种方法来检查活动作业以自动启动新作业的过程，那么qstat输出应该可以帮到你，但是这应该是你的调度程序的职责，而不是你的职责。