为什么在每线程竞技场的数量与内存碎片之间存在权衡？

Question

From the MallocInternals section of the wiki：

  

随着来自线程碰撞的压力增加，通过mmap创建额外的竞技场以减轻压力。竞技场的数量上限是系统中CPU数量的八倍（除非用户另有说明，请参见mallopt），这意味着线程较大的应用程序仍会看到一些争用，但权衡的是，会有更少的争用碎片。

为什么增加竞技场的数量会增加碎片？有趣的是，通过严格限制内存竞技场到2（通过MALLOC_ARENA_MAX），我已经能够将驻留集大小（不仅虚拟集大小）减少近50％。

malloc中的大量每线程内存竞技场如何导致内存碎片化并增加RSS？

Answer 1

假设你有300MB的分数。如果你将它划分为8个竞技场，那么你最终将获得更多＆＃34;赔率和结果＆＃34;内存，它都不足以满足大内存请求。作为一项规则，竞技场不会动态增长或缩小。因此，如果你分配一个竞技场，占用它的90％，最后10％作为碎片（名义上等待提供小额分配），它对你的大量分配没有帮助。

你将它分成更多的竞技场，越多＆＃34;赔率和结束＆＃34;你记忆中的记忆。所以：更多的竞技场等于更多的内部碎片。

Answer 2

竞技场有一个内部互斥锁，可以同时锁定不同线程的内存访问。

如果你只有一个竞技场，一次只允许一次内存操作，这会在执行新的分配/免费时减少碎片。

如果增加竞技场的数量，则意味着您允许多个线程同时分配/释放内存，这会产生碎片，因为它不是原子操作（请参阅“Malloc算法”和“免费”部分）算法“）

8xCPU规则只是留下足够的线程并发但以某种方式限制它。 2个竞技场可能（因为这不是致命）导致更多碎片而不是1，所以竞争越多，碎片就越多，因为更多的内存操作同时发生。

为什么并发内存操作会导致碎片化（过度简化）：因为分配连续的大块并且全部释放小块块变得越来越难，并没有留下足够的空间来分配新的大块。

因此，如果您限制竞技场的数量，维护工作（分配/免费算法）不会与同时运行的其他竞技场竞争。

那么，为什么8xCPU？为什么不只是2个竞技场（如你测试的那样）甚至只有一个？ 这完全可以只运行1个竞技场，但这意味着只允许一个线程同时使用内存，因此你会失去一些性能。如果限制为2个竞技场，那么只有2个线程可以同时使用内存（每个竞技场一个）。 如果你有一个4-CPU机器只有2个竞技场，只有2个（这是竞技场限制）线程可以同时操作（通过glibc）内存，这是浪费资源，因为只使用了2个CPU。