Question

我正在运行某人的c ++代码来对数据集进行基准测试。我遇到的问题是，我经常得到第一次运行的时间，如果我再次运行相同的代码，这些数字会大幅改变（即28秒到10秒）。我认为这是由于CPU的自动缓存。有没有办法刷新缓存，或以某种方式防止这些波动？

Answer 1

不是一个适用于所有事物，无处不在的人。大多数处理器都有特殊指令来刷新缓存，但它们通常是特权指令，因此必须从OS内核内部完成，而不是用户模式代码。当然，对于每个处理器架构，它都是完全不同的指令。

所有当前的x86处理器都有一条clflush指令，它会刷新一个缓存行，但为此，您必须拥有要刷新的数据（或代码）的地址。这对于小而简单的数据结构来说很好，如果你有一个遍布整个地方的二叉树，那就太好了。当然，根本不是便携式的。

在大多数环境中，读取和写入大量替代数据，例如类似的东西：

// Global variables.
const size_t bigger_than_cachesize = 10 * 1024 * 1024;
long *p = new long[bigger_than_cachesize];
...
// When you want to "flush" cache. 
for(int i = 0; i < bigger_than_cachesize; i++)
{
   p[i] = rand();
}

使用rand比填充常量/已知的东西慢得多。但编译器无法优化调用，这意味着（几乎）保证代码将保留。

上面不会刷新指令缓存 - 这样做要困难得多，基本上，你必须运行一些（足够大的）其他代码才能可靠地执行。然而，指令缓存往往对整体基准性能的影响较小（指令缓存对于现代处理器的性能非常重要，这不是我所说的，但从某种意义上说，基准测试的代码通常足够小以至于它都适合在缓存中，基准测试在相同的代码上运行多次，所以它只在第一次迭代时运行得很慢）

其他想法

模拟“非缓存”行为的另一种方法是为每个基准传递分配一个新区域 - 换句话说，直到基准测试结束或使用包含数据的数组并输出结果，例如，不释放内存每次运行都有自己的数据集来处理。

此外，实际测量基准测试的“热运行”的性能是常见的，而不是缓存为空的第一个“冷运行”。这当然取决于你实际想要实现的目标......

Answer 2

这是我的基本方法：

如果您可以动态确定LLC大小（或者您是静态地确定），或者如果您没有，则分配2倍于LLC规模的内存区域，或者感兴趣的平台上最大LLC大小的合理倍数¹
memset内存区域为某个非零值：1会很好。
将指针“接收”到某处，以便编译器无法优化上面或下面的内容（写入volatile全局工作几乎100％的时间。）
从区域中的随机索引读取，直到您平均触摸每个缓存行10次左右（将读取的值累积为与（3）类似的方式下沉的总和）。

以下是一些关于为什么它通常有效以及为什么少做可能无法工作的注意事项 - 细节以x86为中心，但类似的问题将适用于许多其他架构。

在开始主要的只读刷新循环之前，你绝对想要写到已分配的内存（步骤2），否则你可能会反复阅读相同的小{{3}由OS返回以满足您的内存分配。
您希望使用远大于LLC大小的区域，因为外部缓存级别通常是物理地址，但您只能分配和访问虚拟地址。如果你只是分配一个LLC大小的区域，你通常不会完全覆盖每个缓存集的所有方式：一些集合将被过度表示（因此将被完全刷新），而其他集合的代表性不足因此，通过访问此内存区域，甚至不能刷新所有现有值。 2倍的过度分配使得几乎所有集合都很有可能具有足够的表示。
你想避免优化器做一些聪明的事情，比如注意内存永远不会逃脱函数并消除你的所有读写。
您希望在内存区域周围随机迭代，而不是仅仅线性地跨越它：一些设计，例如最近英特尔上的LLC检测何时出现“流”模式，并从LRU切换到MRU，因为LRU是关于这种负载的最坏可能的替换策略。结果是无论你通过内存流多少次，你努力之前的一些“旧”行都可以保留在缓存中。随机访问内存会使这种行为失败。
您希望访问的不仅仅是LLC的内存量（a）与分配超过LLC大小（虚拟访问与物理缓存）的原因相同（b）因为随机访问需要更多访问才能获得高足够多次击中每一组的可能性（c）缓存通常只是伪LRU，所以你需要的数量超过你在精确LRU下期望的访问次数，以清除每一行。

即使这不是万无一失的。上面未考虑的其他硬件优化或缓存行为可能导致此方法失败。您可能会对操作系统提供的页面分配非常不满，并且无法访问所有页面（您可以通过使用2MB页面来大大减轻这种情况）。我强烈建议您测试您的刷新技术是否足够：一种方法是在运行基准测试时使用CPU性能计数器测量缓存未命中数，并根据已知的工作集大小²

请注意，这会使所有级别的缓存都包含E（独占）或S（共享）状态的行，而不是M（已修改）状态。这意味着当这些行被基准测试中的访问替换时，不需要将这些行驱逐到其他缓存级别：它们可以简单地删除。 zero-mapped page中描述的方法会使大多数/所有行都处于M状态，因此您最初会在基准测试中访问的每一行都有1行驱逐流量。通过将步骤4更改为写入而不是读取，您可以使用上面的配方实现相同的行为。

在这方面，这里的处理方法本身都不比另一方面“更好”：在现实世界中，缓存级别将混合使用修改后的行和未修改的行，而这些方法将缓存放在两个极端处。连续统一体。原则上，您可以使用全M和非M状态进行基准测试，并查看它是否重要：如果确实如此，您可以尝试评估缓存的实际状态通常是复制的。< / p>

¹请记住，LLC规模几乎每一代CPU都在增长（主要是因为核心数量正在增加），所以如果需要面向未来，你需要留出一些增长空间。

²我只是把它扔出去，好像它很“容易”，但实际上根据你的确切问题可能会非常困难。

刷新缓存以防止基准测试流程

2 个答案: