在我的用例中,我需要在ProcessPoolExecutor中运行ProcessPoolExecutor,因此允许ProcessPoolExecutor具有非守护进程非常方便。
我想知道如何通过包装ProcessPoolExecutor来以最小的更改来更改此行为?
-----------更新-------------------
我的用例是在机器学习中,其中我们使用外部ProcessPoolExecutor将具有不同超参数设置的实验并行化,并且将算法本身也与内部ProcessPoolExecutor并行化。
玩具的psedo代码如下
def algo(config):
candidates = make_candidates(...)
with ProcessPoolExecutor() as executor:
executor.map(evaluation, candidates)
configs = make_configs(...)
with ProcessPoolExecutor() as executor:
executor.map(algo, configs)