处理SLURM中的文件列表

Question

我是SLURM的新手。我想并行处理一长串文件。具体来说，我有一个脚本来处理像

这样的单一内容

./process.sh filename

现在我想处理像

这样的文件列表中的许多文件

file1
file2
file3
...
file10000

如何使用SLURM并行处理文件列表（即使用16个CPU）？

Answer 1

Maybe you can use --array option. For example, if your compute nodes are shared, the following job script should be close to what you want to do.

#SBATCH -J JOBNAME
#SBATCH -o JOBNAME.%J.stdout
#SBATCH -e JOBNAME.%J.stderr
#SBATCH -n 1
#SBATCH --array 1-10000

./process.sh file${SLURM_ARRAY_TASK_ID}