Question

脚本detect.py进行一些分析：

#!/usr/bin/python
[...]
for i in range(X, Y):
[...]

想法是在某些文件夹中运行此python脚本。该变量X和Y根据我们所在的文件夹而变化。

此执行由以下prepare.sh脚本控制：

#!/usr/bin/bash
# Each folder has this name:
# 0.001-0.501
# 0.002-0.502
# 0.003-0.503
# ... and so on, up to:
# 8.500-9.000
# So we create the folders array:

lower_limit_f=($(seq 0.001 0.001 8.5))
upper_limit_f=($(seq 0.501 0.001 9))

FOLDERS=( )
for i in ${!lower_limit_f[*]}  ; do
    FOLDERS+=("${lower_limit_f[$i]}-${upper_limit_f[$i]}")
done

# Now we create two more arrays:
# lower_limit, which contains all possible values of `X`
# and upper_limit, which contains all possible values of `Y`

lower_limit=($(seq 1 1 8500))
upper_limit=($(seq 501 1 9000))

# Now I loop over all `FOLDERS`:
for i in ${!FOLDERS[*]}  ; do

    # I copy the python script to each folder
    cp detect.py ./${FOLDERS[$i]}

    cd ./${FOLDERS[$i]}

    # I make the substitution of `X` and `Y`, accordingly:                                                                                                       
    sed -i "s/0, len(traj)/${lower_limit[$i]}  , ${upper_limit[$i]}/g" detect.py

     # we execute:
    python detect.py
    cd -

done

这个问题是有8500个文件夹，并且这是顺序执行的。

我想通过以下方式将这些工作提交给我们：

分配1个节点（40个内核）
40 detect.py，可以分别处理40个文件夹。
如果detect.py已在给定文件夹中完成，则剩余1个内核可用于下一个文件夹。

这将是以下run.sh sbatch脚本，以sbatch run.sh形式提交到slurm队列：

#!/bin/sh

#SBATCH --job-name=detect                
#SBATCH -N 1
#SBATCH --partition=xeon40
#SBATCH -n 40
#SBATCH --time=10:00:00

...

如何在此run.sh脚本中发送此消息？

在不同文件夹上并行执行python脚本的Slurm作业

0 个答案: