使用带有cythonized类的dask。酸洗对象方法时出错

时间:2017-12-06 11:24:37

标签: python multiprocessing pickle dask cythonize

我想用以下类对python模块进行cython化:

class C:
    def __init__(self, x):
        self.x = x

    @staticmethod
    def f(k):
        return k

    def g(self, k):
        return self.x, k

安装cythonized模块后,我正在尝试执行代码:

from dask import delayed, multiprocessing
c = C(3)
l = []
for i in range(10):
    l.append(delayed(c.f)(i))

results = delayed(l).compute(num_workers=2, get=multiprocessing.get)

我遇到了酸洗错误(静态和非静态方法相同):

~/anaconda/envs/cython_env/lib/python3.6/site-
packages/cloudpickle/cloudpickle.py in save_global(self, obj, name, 
pack)
    621             self.save_dynamic_class(obj)
    622         else:
--> 623             raise pickle.PicklingError("Can't pickle %r" % obj)
    624 
    625     dispatch[type] = save_global

PicklingError: Can't pickle <cyfunction C.f at 0x113582b10>

为什么会这样?

1 个答案:

答案 0 :(得分:0)

我的猜测是,如果您要使用多处理,则不应该使用共享对象或变量。你可以使用它与多线程。在你的情况下,C类是问题。你将同一个c的对象传递给延迟的