消费者 - 生产者:如果内存使用量超过特定阈值,则暂停消费者

时间:2016-01-12 08:05:17

标签: multithreading design-patterns memory-management

我遇到一种情况,我的主线程(生产者)在堆上为一个任务分配了一大块内存,有些工作在该缓冲区上,然后为工作线程(消费者)提供缓冲区以便进一步处理(这将首先压缩该数据,然后将其写入磁盘)。一旦工作线程完成了它的工作,它就会释放生产者为任务获取的内存。

然而,可能存在这样的情况:我的主线程分配了太多内存,因此我的系统开始将其他程序交换到磁盘以满足内存要求。由于磁盘变得繁忙,工作线程发现很难在磁盘上写入(最终释放任何内存),同时生产者继续为其他任务分配更多内存。这最终会破坏我系统的性能。

这个问题的优秀设计是什么?

此外,如果通过预先计算内存要求暂停主线程,可以提前选择如何获得可靠的数字?

1 个答案:

答案 0 :(得分:0)

可能的设计选项

  • 生产者和工人之间阻止队列的单生产者多用户
  • 原子任务收件箱中的拉动和生产者循环任务中的每个工作人员以及无法发布时忙着旋转/阻塞(我认为Herb Sutter在他的一个并发讲座中使用了这个设计)

内存分配 - 确定性是有益的,即使在启动时预先分配所有内容的确定性也是如此。严格来说,这并不总是可行或实际的,所以通常在任何非平凡的系统中都会发生固定/动态大小调整和启动/运行时分配的组合。