我正在构建一个python管道,在该管道脚本中,我调用另一个python脚本,该脚本使用qsub将作业提交到集群(此作业包括op 70个作业) 现在我需要这些工作的输出继续工作。
我怎样才能“暂停”python脚本,直到完成所有70个作业?
我无法修改提交给服务器的脚本,因此必须在我自己的脚本中完成。 (使用AMD64集群)
编辑:
这就是我调用其他脚本的方式:
os.system("python ScriptThatQsub.py arg1 arg2")
我还在努力。并且搜索interwebz,但我不禁想知道......这甚至可能吗?
答案 0 :(得分:2)
只需使用-sync y
或
qsub -sync y my_job
即可
from subprocess import Popen
job = Popen(["qsub", "-sync", "y", "my_job"])
job.communicate()
答案 1 :(得分:0)
我刚刚将集群中的Qstat放入变量中,并检查了我的作业名是否在该列表中找到。如果是这样。睡了一会儿。 感谢大家的帮助!