作业完成时群集qsub检查。蟒蛇

时间:2012-10-09 11:55:59

标签: python cluster-computing qsub

我正在构建一个python管道,在该管道脚本中,我调用另一个python脚本,该脚本使用qsub将作业提交到集群(此作业包括op 70个作业) 现在我需要这些工作的输出继续工作。

我怎样才能“暂停”python脚本,直到完成所有70个作业?

我无法修改提交给服务器的脚本,因此必须在我自己的脚本中完成。 (使用AMD64集群)

编辑:

这就是我调用其他脚本的方式:

os.system("python ScriptThatQsub.py arg1 arg2")

我还在努力。并且搜索interwebz,但我不禁想知道......这甚至可能吗?

2 个答案:

答案 0 :(得分:2)

只需使用-sync y

中的命令行标记qsub -sync y my_job即可
from subprocess import Popen
job = Popen(["qsub", "-sync", "y", "my_job"])
job.communicate()

答案 1 :(得分:0)

我刚刚将集群中的Qstat放入变量中,并检查了我的作业名是否在该列表中找到。如果是这样。睡了一会儿。 感谢大家的帮助!