Question

我是python的新手，我想使用pool.apply_async()来校准我的代码。 pool.apply_async()的参数使我困惑。

这是我的代码：

def detect(i, pdf):
    savefig2pdf.save(event['value'][0][5000:6000],
                 event['value'][1][5000:6000],
                 event['value'][2][5000:6000],
                 event['start point index']+5000 ,
                 eventlist[i],
                 p_result,
                 s_arrival,
                 pdf)"

if __name__ == '__main__':
    pdf = PdfPages('cut_figure.pdf')
    pool = multiprocessing.Pool(processes=10)    # set the processes max number 10
    for i in range(0, len(eventlist)):
        pool.apply_async(detect, (i, pdf,))
    pool.close()
    pool.join()
    pdf.close()

如果我只通过i，它就有效。我怎样才能将pdf传递给流程？我需要pdf才能写入，直到完成所有过程。谢谢你的帮助。

Answer 1

multiprocessing模块依赖于pickle来序列化您在函数之间传递的对象。但你不能挑选pdf对象：

>>> from matplotlib.backends.backend_pdf import PdfPages
>>> import pickle
>>> pdf = PdfPages('cut_figure.pdf')
>>> pickle.dumps(pdf)
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-5-e06adaa58666> in <module>()
----> 1 pickle.dumps(pdf)

TypeError: cannot serialize '_io.BufferedWriter' object

因此无法将multiprocessing与单个pdf对象一起使用。您可以尝试使用threading来获得多线程执行，因为您的程序似乎是IO绑定的（您花了很多时间写入文件）。

使用about pool.apply_async

1 个答案: