将大数据帧作为参数传递给多处理函数

时间:2016-02-10 09:31:01

标签: python pandas multiprocessing pickle

我在RAM中加载了一个大的pandas.DataFrame,我希望将其分为五个部分,以便使用Pool模块中的multiprocessing个工作人员独立处理这些部分。< / p>

我的问题是我的pandas.DataFrame太大了,我无法将每个部分作为参数传递给我的multiprocessing函数:我收到pickle错误。

我的问题是:如何在没有明确传递数据帧的情况下,将已加载到RAM中的DataFrame部分作为参数传递给我的函数。

换句话说,是否可以将某种指针传递给每个DataFramemultiprocessing函数的RAM地址,而不是完整的DataFrames

0 个答案:

没有答案