Question

我是Slurm的新手，我试图启动多个可执行文件以并行运行（在下面的示例中，它只是date命令）。我希望它们在不同的时间开始，并以短暂的时间间隔隔开。

我做了一些尝试，尝试在srun之间添加其他行，例如“ srun sleep 5s＆”或使用下面显示的“ --begin”选项。特别是，“-begin”选项无法说“ --begin被忽略，因为已经分配了节点”。

并行模块似乎在我们的集群中不可用。

#!/bin/bash
#SBATCH --output=parallel_test_%j.out   # Standard output and error log
#SBATCH --time=06:00:00
#SBATCH --nodes=1   # number of nodes
#SBATCH --ntasks=6   
#SBATCH --mem-per-cpu=1024M   # memory per CPU core

srun="srun -n1 -N1 --exclusive"
# --exclusive     ensures srun uses distinct CPUs for each job step
# -N1 -n1         allocates a single core to each task


$srun date &
$srun --begin=now+3 date &
$srun --begin=now+6 date &
$srun --begin=now+9 date &
$srun --begin=now+12 date &
$srun --begin=now+15 date &
wait

我得到的输出如下：

srun: error: --begin is ignored because nodes are already allocated.
srun: error: --begin is ignored because nodes are already allocated.
srun: error: --begin is ignored because nodes are already allocated.
srun: error: --begin is ignored because nodes are already allocated.
srun: error: --begin is ignored because nodes are already allocated.
Sun Jun 23 14:07:05 PDT 2019
Sun Jun 23 14:07:05 PDT 2019
Sun Jun 23 14:07:05 PDT 2019
Sun Jun 23 14:07:05 PDT 2019
Sun Jun 23 14:07:05 PDT 2019
Sun Jun 23 14:07:06 PDT 2019

我想要获得的是以下输出：

Sun Jun 23 13:22:54 PDT 2019
Sun Jun 23 13:22:57 PDT 2019
Sun Jun 23 13:23:00 PDT 2019
Sun Jun 23 13:23:03 PDT 2019
Sun Jun 23 13:23:06 PDT 2019
Sun Jun 23 13:23:09 PDT 2019

谢谢您的帮助

Answer 1

在这种情况下，--begin将无济于事，因为它用于推迟作业的启动，并且在提交脚本中运行srun时作业已经启动。

您可以按照以下方式获得请求的行为：

$srun date &
sleep 3; $srun date &
sleep 3; $srun date &
sleep 3; $srun date &
sleep 3; $srun date &
sleep 3; $srun date &
wait

甚至是这样

$srun date &
$srun bash -c "sleep 3 ; date" &
$srun bash -c "sleep 6 ; date" &
$srun bash -c "sleep 9 ; date" &
$srun bash -c "sleep 12 ; date" &
$srun bash -c "sleep 15 ; date" &
wait

关于

并行模块似乎在我们的集群中不可用

这并不意味着您不能自己安装它（请参阅this question）。如果在群集上安装了Easybuild，则更加简单。（如果不是，则也可以自己安装）。然后可以使用--delay选项。

parallel --delay 3 $srun date

您可以帮助我在Slurm中并行运行任务吗？

1 个答案: