Question

我正在使用pathos.multiprocessing来并行化需要使用实例方法的程序。以下是最低工作示例：

import time
import numpy as np
from pathos.multiprocessing import Pool, ProcessingPool, ThreadingPool

class dummy(object):
    def __init__(self, arg, key1=None, key2=-11):

        np.random.seed(arg)

        randnum = np.random.randint(0, 5)

        print 'Sleeping {} seconds'.format(randnum)
        time.sleep(randnum)

        self.value = arg
        self.more1 = key1
        self.more2 = key2

args = [0, 10, 20, 33, 82] 
keys = ['key1', 'key2']
k1val = ['car', 'borg', 'syria', 'aurora', 'libera']
k2val = ['a', 'b', 'c', 'd', 'e']
allks = [dict(zip(keys, [k1val[i], k2val[i]])) for i in range(5)]

pool = ThreadingPool(4)
result = pool.map(dummy, args, k1val, k2val)

print [[r.value, r.more1, r.more2] for r in result]

打印的结果是（正如预期的那样）：

Sleeping 4 seconds
Sleeping 1 seconds
Sleeping 3 seconds
Sleeping 4 seconds
Sleeping 3 seconds
[[0, 'car', 'a'], [10, 'borg', 'b'], [20, 'syria', 'c'], [33, 'aurora', 'd'], [82, 'libera', 'e']]

但是，在对map的调用中，最后两个参数的顺序很重要，如果我这样做：

result2 = pool.map(dummy, args, k2val, k1val)

我获得：

[[0, 'a', 'car'], [10, 'b', 'borg'], [20, 'c', 'syria'], [33, 'd', 'aurora'], [82, 'e', 'libera']]

虽然我想获得与第一个结果相同的结果。行为与apply_async kwds在标准模块multiprocessing中可以执行的操作相同，即传递字典列表，其中每个字典中的键是关键字名称和项目是关键字参数（请参阅allks）。请注意，标准模块multiprocessing不能使用实例方法，因此甚至不满足最低要求。

暂时这将是： result = pool.map（dummy，args，kwds = allks）＃这不起作用

Answer 1

我是pathos作者。是的，你遇到了一些我知道需要一点工作的东西。目前，来自map，pipe和apply的{{1}}和ProcessPool（即ThreadPool）方法无法使用ParallelPool - - 你必须将它们作为kwds传递给他们。但是，如果您使用args或_ProcessPool，则可以将_ThreadPool传递给kwds和map方法。 apply中以下划线开头的池实际上直接来自pathos.pools，因此它们与multiprocess中的API具有相同的API（但序列化更好，因此可以传递类方法等）。

multiprocessing

因此，对原始代码的编辑看起来像这样（来自OP的建议编辑）：

>>> from pathos.pools import _ProcessPool
>>> from multiprocess.pool import Pool
>>> Pool is _ProcessPool
True

如何将关键字列表传递给pathos.multiprocessing？

1 个答案: