Question

多处理模块和酸洗。

每当你需要使用我想要更好理解的多处理模块时，似乎会有一些酸洗。

显然，当项目无法被腌制（无论出于何种原因）时，它们不能作为参数传递给多处理模块中的Process或Pool对象。为什么是这样？

是否有完整的清单或说明解释何时无法腌制物品？

感谢任何可以提供帮助的人。

Answer 1

所以pickle在序列化方面非常有限。完整列表几乎在文档中给出..在这里： https://docs.python.org/3/library/pickle.html#what-can-be-pickled-and-unpickled 和这里： https://docs.python.org/2/library/pickle.html#what-can-be-pickled-and-unpickled

情况变得更糟。 Pickling在解释器中并不真正起作用，主要是因为pickle主要通过引用序列化。它实际上并没有腌制函数或类对象，它序列化一个基本上是它们名字的字符串：

>>> import pickle
>>> import math
>>> pickle.dumps(math.sin)
'cmath\nsin\np0\n.'

所以，如果你在解释器中构建了你的函数，类或其他东西，那么你基本上不能用pickle来挑选对象。它会查找__main__模块，而pickle找不到__main__。这也是事情无法在解释器中使用multiprocessing序列化的原因。

然而，有一个很好的解决方案。您可以使用更好的序列化程序（如dill），以及利用更好的序列化程序的multiprocessing分叉。

>>> import dill
>>> from pathos.multiprocessing import ProcessingPool as Pool
>>> p = Pool()
>>> 
>>> def squared(x):
...   return x**2
... 
>>> dill.dumps(squared)
'\x80\x02cdill.dill\n_create_function\nq\x00(cdill.dill\n_unmarshal\nq\x01Ufc\x01\x00\x00\x00\x01\x00\x00\x00\x02\x00\x00\x00C\x00\x00\x00s\x08\x00\x00\x00|\x00\x00d\x01\x00\x13S(\x02\x00\x00\x00Ni\x02\x00\x00\x00(\x00\x00\x00\x00(\x01\x00\x00\x00t\x01\x00\x00\x00x(\x00\x00\x00\x00(\x00\x00\x00\x00s\x07\x00\x00\x00<stdin>t\x07\x00\x00\x00squared\x01\x00\x00\x00s\x02\x00\x00\x00\x00\x01q\x02\x85q\x03Rq\x04c__builtin__\n__main__\nU\x07squaredq\x05NN}q\x06tq\x07Rq\x08.'
>>> 
>>> p.map(squared, range(10))
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
>>>

对于可以序列化的内容以及不能在此处进行的内容，有一个很好的排序列表： https://github.com/uqfoundation/dill/blob/master/dill/_objects.py - 它并不全面，但大多数内容都可以使用dill序列化。

在此处获取pathos和dill：https://github.com/uqfoundation

酸洗和多处理

1 个答案: