有什么办法可以定期运行辅助python脚本以处理Slurm中主要脚本的输出吗?

时间:2019-01-11 17:49:12

标签: python shell slurm

我提交的批处理脚本涉及输出数据的主命令/脚本(一个mpi进程),我需要通过在主进程固定的时间间隔运行一个辅助Python脚本来评估主进程的进度仍在运行。是否有任何命令允许我使用Slurm批处理脚本来做到这一点?

作为一个示例,考虑到主进程需要24个小时,如果我将Python脚本正常放置在主命令/脚本的结尾之后,它将仅在主进程的结尾运行。我需要每隔1小时运行一次Python命令/脚本来处理由主进程生成的数据。在Slurm上可以吗?

1 个答案:

答案 0 :(得分:0)

脚本的结构如下:

#! /bin/bash
#SBATCH ...
#SBATCH ...

while : ; do sleep 3600 ; python <secondary script> ; done &

mpirun <primary command>

这个想法是在后台无限循环地运行辅助脚本。当主命令完成时,作业终止,后台循环停止。