Question

你好stackoverflow用户，

我试着查看这个但是找不到答案：我基本上喜欢并行处理函数（独立进程！），并且函数有一个可迭代的（x）和几个常量参数（k，d）。这是一个非常简单的例子：

from multiprocessing import *

def test_function(args):
    k = args[0]
    d = args[1]
    x = args[2]
    del args

    return k*x + d

if __name__ == '__main__':
    pool = Pool(processes=2)

    k = 3.
    d = 5.

    constants = [k,d]
    xvalues = range(0,10)
    result = [pool.apply_async(test_function, constants.append(i)) for i in xvalues]

    output = [r.get() for r in result]

    print output
    #I expect [5.0, 8.0, 11.0, 14.0, 17.0, 20.0, 23.0, 26.0, 29.0, 32.0]

这给了我以下错误消息：

Traceback (most recent call last):
  File "test_function.py", line 23, in <module>
    output = [r.get() for r in result]
  File "C:\Program Files\Python2.7\lib\multiprocessing\pool.py", line 528, in get
    raise self._value
TypeError: test_function() argument after * must be a sequence, not NoneType

所以我的问题是：

此错误消息实际意味着什么？

如何修复它以获得预期结果（参见代码示例的最后一行）？

对于调用apply_sync的行，是否有更好/更好/更优雅的方式？

仅供参考：我是新来的和python，请耐心等待我，如果我的帖子需要更多细节，请告诉我。

非常感谢任何建议！

Answer 1

此错误消息实际意味着什么？

append方法返回的值始终为None，因此在执行时：

pool.apply_async(test_function, constants.append(i))

您使用pool.apply_asynch作为None参数调用args，但apply_asynch期望 iterable 作为参数。 apply_asynch正在执行的操作称为tuple-unpacking。

如何修复它以获得预期效果？

为了实现预期的输出，简单地将i连接到常量：

pool.apply_asynch(test_function, (constants + [i],))

对于调用的线路是否有更好的/工作/优雅的方式 apply_sync？

请注意，您必须将所有参数包装到一个元素元组中，因为您的test_function接受一个参数。你可以用这种方式修改它：

def test_function(k, d, x):
    # etc

只需使用：

pool.apply_asynch(test_function, constants + [i])

apply_asynch将使用args自动将tuple解压缩到函数的三个参数中 - 解包。（仔细阅读Pool.apply和朋友的文档。）

对于调用的线路是否有更好的/工作/优雅的方式 apply_sync？

正如Silas所指出的，不是将Pool.apply_asynch用于值列表，您应该使用Pool.map或Pool.map_asynch方法，这些方法可以帮助您。

例如：

results = pool.map(test_function, [(constants + [i],) for i in xvalues])

但请注意，在这种情况下test_function必须接受一个参数，因此您必须手动解包常量和x，就像您在问题中所做的那样。

另外，作为一般建议：

在test_function中，完全没有必要del args。它只会减慢函数的执行速度（只需很少量）。仅在需要时谨慎使用del。
您可以使用语法：
，而不是手动分配元组中的元素
```
k, d, x = args
```
这相当于（可能稍慢）：
```
k = args[0]
d = args[1]
x = args[2]
```
期待使用multiprocessing调用此类简单函数的大减速。通信和同步进程的成本非常大，因此您必须避免调用简单的函数，并且尽可能尝试“以块为单位”（例如，不是单独发送每个请求，而是在单个中向工作者发送100个请求的列表参数）。

Answer 2

constants.append（i）返回None，您应首先附加值，然后使用constants作为第二个参数。

>>> constants = []
>>> i = 2
>>> bug_value = constants.append(i)
>>> constants
[2]
>>> bug_value is None
True
>>>

确实使用result = [pool.apply_async(test_function, constants+ [i]) for i in xvalues]

list + list附加两个列表并返回结果列表。

使用常量和可迭代参数对函数进行多处理

2 个答案: