如何实现缓存友好的动态二叉树？

Question

根据包括Wikipedia在内的多个来源，实现二叉树的两种最常用的方法是：

1. 节点和指针（或引用）其中每个节点显式保存其子节点。
2. 数组，其子节点的位置由其父节点的索引隐式。

第二个在内存使用和引用位置方面明显优越。但是，如果您希望允许树中的插入和删除，可能会使树不平衡，则会导致问题。这是因为此设计的内存使用量是树深度的指数函数。

假设您要支持此类插入和删除。如何实现树，以便树遍历可以充分利用CPU缓存。

我正在考虑为节点创建一个对象池并将它们分配到一个数组中。这样节点将靠近在一起 - ＆gt;因此，良好的参考地点。

但是，如果节点的大小与缓存行的大小相同，这是否有意义？

如果您的L1行大小为64字节，并且您访问std::vector<std::uint8_t>(64)的第一个成员，则可能在L1缓存中拥有该向量的全部内容。这意味着您可以非常快速地访问任何元素。但是如果元素的大小与缓存行大小相同怎么办？由于L1，L2和L3缓存的缓存行为likely not to be very different，因此似乎没有办法在哪个位置引用可以提供帮助。我错了吗？还有什么可以做的？

Answer 1

除非您正在研究如何改进缓存访问模式的二叉树，否则我觉得这是XY problem - 您要解决的问题是什么？为什么您认为二叉树是解决问题的最佳算法？什么是预期的工作集大小？

如果您正在寻找一个通用的关联存储，那么有多个缓存友好（其他关键字：“缓存高效”，“缓存无关”）算法，例如Judy arrays，其中有一个extensive explanation PDF

如果您的工作集大小足够小，并且您只需要有序的一组项目，那么一个简单的有序数组就足够了，这可能会带来另一个性能优势 - branch prediction。

最后，找出最适合您用例的方法是尝试衡量不同的方法。

Answer 2

使用块分配器。

您有一个或几个连续的内存“池”，您可以从中释放固定大小的块。它是作为链表实现的。所以分配就是

answer = head, 
head = head->next, 
return answer; 

免费只是

tofree->next = head;
head = tofree;

如果您允许多个池当然需要编写代码来确定池，这会增加一些复杂性，但不会太多。它本质上是一个简单的内存分配系统。 由于所有池成员在内存中都很靠近，因此您可以在小树上获得良好的缓存一致性。对于大树，你必须要有点聪明。