Pythons多进程模块(带有dill)给出了一个无用的AssertionError

时间:2016-02-02 18:05:01

标签: python parallel-processing pickle dill pathos

我已经安装了dill / pathos及其依赖项(有一些困难),我正在尝试在多个进程上执行一个函数。类/属性Model(self.xml,self.exp_data,i).SSR是自定义的,并且取决于其他自定义函数的负载,因此我提前道歉,因为无法提供“可运行”代码。然而,简而言之,它需要一些实验数据,将ODE系统与python的pysces模块集成,并计算平方和(SSR)。并行化此代码的目的是使用多个参数集加速此计算。

代码:

    import multiprocess  
    def evaluate_chisq(pop):

        p = multiprocess.Pool(8)
        res= p.map(lambda i:Model(self.xml,self.exp_data,i).SSR   ,  pop)#calcualteSSR with this parameter set
        return res

我得到的错误信息是:

  File "C:\Anaconda1\lib\site-packages\multiprocess\pool.py", line 251, in map
    return self.map_async(func, iterable, chunksize).get()

  File "C:\Anaconda1\lib\site-packages\multiprocess\pool.py", line 567, in get
    raise self._value

AssertionError

然后我尝试使用map_async

        def evaluate_chisq(pop):
            p = multiprocess.Pool(8)
            res= p.map_async(lambda i:Model(self.xml,self.exp_data,i).SSR   ,  pop)#calcualteSSR with this parameter set
            return res

返回一个<multiprocess.pool.MapResult object at 0x0000000014AF8C18>对象,当我尝试使用MapResult的'get'方法时,它会给我同样的错误

  File "C:\Anaconda1\lib\site-packages\multiprocess\pool.py", line 567, in get
    raise self._value

AssertionError

有人知道我做错了什么吗?

1 个答案:

答案 0 :(得分:2)

在Windows上,您需要使用freeze_support中的__main__

请参阅https://docs.python.org/2/library/multiprocessing.html#multiprocessing.freeze_support