多个队列和线程/ ETL管道

时间:2019-02-08 09:16:47

标签: python multithreading queue shared-memory pipeline

我进行了以下设置:

ManagerThread.create tasks(500) -> q1
q1 -> [thread 1-4] -> q2 -> [thread 5-8] -> q3 -> [thread 9-12]
  • 线程堆栈互相喂食
  • 我想知道每个[thread stack]的已处理任务的数量,这样我才能使工作的总体进度为500个任务 到目前为止,我的想法是:在每个[thread stack]与管理器线程之间共享一个整数,因此,如果线程1任务已完成->共享int++ 如果[thread 1-4]共享了int = 500,则Manager停止此线程堆栈。 所以我的问题不是关于如何停止,而是关于如何以最佳(最高效)方式共享该整数。 感谢您的想法。

0 个答案:

没有答案