进程超时内的多处理池

时间:2009-11-17 10:37:37

标签: python process timeout multiprocessing pool

当我使用以下代码时,池结果总是返回超时,我在做什么逻辑上不正确?

from multiprocessing import Pool, Process, cpu_count

def add(num):
  return num+1

def add_wrap(num):
  new_num = ppool.apply_async(add, [num])
  print new_num.get(timeout=3)

ppool = Pool(processes=cpu_count() )

test = Process(target=add_wrap, args=(5,)).start()

我知道this bug,并且会认为它会在python 2.6.4中得到修复吗?

1 个答案:

答案 0 :(得分:2)

您无法在进程之间传递Pool对象。

如果您尝试此代码,Python将引发异常:'NotImplementedError:池对象无法在进程之间传递或被pickle'。

from multiprocessing import Queue, Pool

q = Queue()
ppool = Pool(processes=2)                                                       
q.put([ppool])
ppool = q.get()

因此,如果您希望代码正常工作,只需在add_wrap方法中创建Pool对象。

from multiprocessing import Pool, Process, cpu_count

def add(num):
  return num+1

def add_wrap(num):
  ppool = Pool(processes=cpu_count() )
  new_num = ppool.apply_async(add, [num])
  print new_num.get(timeout=3)

test = Process(target=add_wrap, args=(5,)).start()