通过拆分数据帧并进行串联来并行化pandas apply()

时间:2019-04-27 23:39:58

标签: python pandas parallel-processing pickle dask

我想通过应用函数从现有列创建一个新列。如果尝试使用dask或多处理程序(如建议的here),我经常会收到“无法腌制”的error

说我的机器上有16个内核。如果我错了,请纠正我,但是应该不应该将我的数据框分为16个部分,是否使用单独的核心对每个部分进行应用,然后将16个数据框串联起来?是否有执行此功能的功能?泡菜是不可避免的瓶颈吗?

0 个答案:

没有答案