Question

我有一个二进制文件（比如a.out），我想用不同的配置调用。我想在40核机器上并行运行这些配置。下面是我的代码草图。

这非常简单：我生成一个配置并传入worker，并且worker使用subprocess使用config调用二进制文件。我也将输出重定向到文件。我们将这段代码称为run.py

def worker(cmdlist, filename):
    outputfile = open(filename, 'wb')
    // here it essentially executes  a.out config > outputfile
    subprocess.call(cmdlist, stderr=outputfile, stdout=outputfile) 
    outputfile.close()

def main():
    pool = Pool(processes = 40)
    for config in all_configs
        filename, cmdlist = genCmd(config)
        res = pool.apply_async(worker, [cmdlist, filename])
        results.append(res)
    for res in results:
        res.get()
    pool.close()

但是在我开始之后，我意识到我并没有像我想要的那样产生尽可能多的进程。我绝对提交了超过40名工人，但在顶部，我只看到了大约20个a.out。

我确实看到许多处于“休眠”状态的run.py（即顶部的“S”）。当我执行ps auf时，我还看到很多run.py处于“S +”状态，没有二进制生成。其中只有大约一半产生了“a.out”

我想知道，为什么会这样？我将输出重定向到网络安装的硬盘驱动器，这可能是一个原因，但在顶部我只看到10％wa（在我的理解中，10％的时间等待IO）。我不认为这导致50％的空闲CPU。另外，我至少应该生成二进制文件，而不是卡在run.py。我的二进制文件的运行时间也足够长。我应该看到很长时间内有40个工作岗位。

还有其他解释吗？我在python代码中做错了什么？

Answer 1

我曾经使用的方法是在多个核上同时运行许多同时进程，使用p = subprocess.Popen（...）和p.Poll（）。在你的情况下，我认为你可以完全跳过使用池。我会给你一个更好的例子但不幸的是我再也无法访问该代码了。

Python多处理+子流程问题

1 个答案: