如何包装ProcessPoolExecutor以使其允许非守护进程

时间:2019-05-08 15:45:30

标签: multiprocessing daemon concurrent.futures

在我的用例中,我需要在ProcessPoolExecutor中运行ProcessPoolExecutor,因此允许ProcessPoolExecutor具有非守护进程非常方便。

我想知道如何通过包装ProcessPoolExecutor来以最小的更改来更改此行为?

-----------更新-------------------

我的用例是在机器学习中,其中我们使用外部ProcessPoolExecutor将具有不同超参数设置的实验并行化,并且将算法本身也与内部ProcessPoolExecutor并行化。

玩具的psedo代码如下

def algo(config):
    candidates = make_candidates(...)
    with ProcessPoolExecutor() as executor:
        executor.map(evaluation, candidates)

configs = make_configs(...)
with ProcessPoolExecutor() as executor:
    executor.map(algo, configs)

0 个答案:

没有答案