合并从python多进程调用函数返回的数据帧

Question

from multiprocessing import Pool

with Pool(processes=6) as p:
    p.starmap(update_tabl, zip(r))

我正在使用此处概述的方法：http://n-s-f.github.io/2016/12/23/starmap-pattern.html并行调用函数update_table，该函数将数据帧作为输出返回。

如何连接所有这些数据帧？如果我使用for循环但不确定如何并行执行

，我可以使用pd.concat

Answer 1

你可以对星图的结果进行连续：

with Pool(processes=6) as p:
    res = pd.concat(p.starmap(update_table, zip(rows)))
# do stuff with res

concat不会并行发生，但是一旦星图完成了。