完成后使用python ThreadPool关闭资源

时间:2017-06-23 08:59:55

标签: python multiprocessing pathos

我有一个脚本使用,pathos ProcessPool在一些数据点上并行执行函数data()

名为data()的函数计算并将结果发送到名为Database的单个对象,并且由于大量推送被发送到数据库,所以当队列大小更大时,我添加了一个简单队列超过500,它被推到数据库。

当映射了所有数据点但是类Database的队列中仍有一定数量的数据时,会出现问题(在每个进程中,进程1可能有100个进程2可能有200个)。

我写了一个在退出时刷新的函数,但是如何在所有进程上调用该函数?

1 个答案:

答案 0 :(得分:1)

多处理中有Manager,您可以一次访问进程存储的数据,而不是使用队列。

您可以阅读here