我在RAM中加载了一个大的pandas.DataFrame
,我希望将其分为五个部分,以便使用Pool
模块中的multiprocessing
个工作人员独立处理这些部分。< / p>
我的问题是我的pandas.DataFrame
太大了,我无法将每个部分作为参数传递给我的multiprocessing
函数:我收到pickle
错误。
我的问题是:如何在没有明确传递数据帧的情况下,将已加载到RAM中的DataFrame
部分作为参数传递给我的函数。
换句话说,是否可以将某种指针传递给每个DataFrame
到multiprocessing
函数的RAM地址,而不是完整的DataFrames
?