标签: python multiprocessing pathos
我有一个脚本使用,pathos ProcessPool在一些数据点上并行执行函数data()。
data()
名为data()的函数计算并将结果发送到名为Database的单个对象,并且由于大量推送被发送到数据库,所以当队列大小更大时,我添加了一个简单队列超过500,它被推到数据库。
Database
当映射了所有数据点但是类Database的队列中仍有一定数量的数据时,会出现问题(在每个进程中,进程1可能有100个进程2可能有200个)。
我写了一个在退出时刷新的函数,但是如何在所有进程上调用该函数?
答案 0 :(得分:1)
多处理中有Manager,您可以一次访问进程存储的数据,而不是使用队列。
Manager
您可以阅读here