我的问题是了解Linux perf工具指标。我在代码中对预取/缓存未命中进行了优化，现在速度更快了。但是，perf并没有告诉我（或者更确切地说，我不明白perf向我展示了什么）。
把它带回到一切开始的地方。我为了speed up random memory access using prefetch进行了调查。
以下是我的程序：
- 它使用两个相同大小的int缓冲区
- 它逐个读取第一个缓冲区的所有值
- 每个值是第二个缓冲区中的随机索引
- 它读取第二个缓冲区中索引处的值
- 它汇总了从第二个缓冲区中获取的所有值
- 它为更大更大的
做了所有前面的步骤- 最后，我打印了自愿和非自愿CPU上下文切换的次数
在我上次调整之后，我的代码是以下代码：
#define _GNU_SOURCE
#include <stdio.h>
#include <stdlib.h>
#include <limits.h>
#include <sys/time.h>
#include <math.h>
#include <sched.h>
#define BUFFER_SIZE ((unsigned long) 4096 * 50000)
#define PADDING 256
unsigned int randomUint()
{
int value = rand() % UINT_MAX;
return value;
}
unsigned int * createValueBuffer()
{
unsigned int * valueBuffer = (unsigned int *) malloc(BUFFER_SIZE * sizeof(unsigned int));
for (unsigned long i = 0 ; i < BUFFER_SIZE ; i++)
{
valueBuffer[i] = randomUint();
}
return (valueBuffer);
}
unsigned int * createIndexBuffer()
{
unsigned int * indexBuffer = (unsigned int *) malloc((BUFFER_SIZE + PADDING) * sizeof(unsigned int));
for (unsigned long i = 0 ; i < BUFFER_SIZE ; i++)
{
indexBuffer[i] = rand() % BUFFER_SIZE;
}
return (indexBuffer);
}
double computeSum(unsigned int * indexBuffer, unsigned int * valueBuffer, unsigned short prefetchStep)
{
double sum = 0;
for (unsigned int i = 0 ; i < BUFFER_SIZE ; i++)
{
__builtin_prefetch((char *) &valueBuffer[indexBuffer[i + prefetchStep]], 0, 0);
unsigned int index = indexBuffer[i];
unsigned int value = valueBuffer[index];
double s = sin(value);
sum += s;
}
return (sum);
}
unsigned int computeTimeInMicroSeconds(unsigned short prefetchStep)
{
unsigned int * valueBuffer = createValueBuffer();
unsigned int * indexBuffer = createIndexBuffer();
struct timeval startTime, endTime;
gettimeofday(&startTime, NULL);
double sum = computeSum(indexBuffer, valueBuffer, prefetchStep);
gettimeofday(&endTime, NULL);
printf("prefetchStep = %d, Sum = %f - ", prefetchStep, sum);
free(indexBuffer);
free(valueBuffer);
return ((endTime.tv_sec - startTime.tv_sec) * 1000 * 1000) + (endTime.tv_usec - startTime.tv_usec);
}
void testWithPrefetchStep(unsigned short prefetchStep)
{
unsigned int timeInMicroSeconds = computeTimeInMicroSeconds(prefetchStep);
printf("Time: %u micro-seconds = %.3f seconds\n", timeInMicroSeconds, (double) timeInMicroSeconds / (1000 * 1000));
}
int iterateOnPrefetchSteps()
{
printf("sizeof buffers = %ldMb\n", BUFFER_SIZE * sizeof(unsigned int) / (1024 * 1024));
for (unsigned short prefetchStep = 0 ; prefetchStep < 250 ; prefetchStep++)
{
testWithPrefetchStep(prefetchStep);
}
}
void setCpuAffinity(int cpuId)
{
int pid=0;
cpu_set_t mask;
unsigned int len = sizeof(mask);
CPU_ZERO(&mask);
CPU_SET(cpuId,&mask);
sched_setaffinity(pid, len, &mask);
}
int main(int argc, char ** argv)
{
setCpuAffinity(7);
if (argc == 2)
{
testWithPrefetchStep(atoi(argv[1]));
}
else
{
iterateOnPrefetchSteps();
}
}
在我之前的stackoverflow问题结束时，我认为我拥有所有元素：为了避免缓存未命中我使代码预取数据（使用__builtin_prefetch）和我的程序更快。一切看起来都尽可能正常
但是，我想使用Linux perf工具来研究它。所以我在我的程序的两次执行之间进行了比较：
./TestPrefetch 0：这样做，预取是低效的，因为它是在刚刚读取的数据上完成的（当访问数据时，它不能被加载到CPU缓存中）。运行时间： 21.346秒 ./TestPrefetch 1：这里的预取效率要高得多，因为数据在读取之前会被循环迭代一次。运行时间： 12.624秒 perf输出如下：
$ gcc -O3 TestPrefetch.c -o TestPrefetch -lm && for cpt in 0 1; do echo ; echo "### Step=$cpt" ; sudo perf stat -e task-clock,cycles,instructions,cache-references,cache-misses ./TestPrefetch $cpt; done
### Step=0
prefetchStep = 0, Sum = -1107.523504 - Time: 21346278 micro-seconds = 21.346 seconds
Performance counter stats for './TestPrefetch 0':
24387,010283 task-clock (msec) # 1,000 CPUs utilized
97 274 163 155 cycles # 3,989 GHz
59 183 107 508 instructions # 0,61 insn per cycle
425 300 823 cache-references # 17,440 M/sec
249 261 530 cache-misses # 58,608 % of all cache refs
24,387790203 seconds time elapsed
### Step=1
prefetchStep = 1, Sum = -1107.523504 - Time: 12623665 micro-seconds = 12.624 seconds
Performance counter stats for './TestPrefetch 1':
15662,864719 task-clock (msec) # 1,000 CPUs utilized
62 159 134 934 cycles # 3,969 GHz
59 167 595 107 instructions # 0,95 insn per cycle
484 882 084 cache-references # 30,957 M/sec
321 873 952 cache-misses # 66,382 % of all cache refs
15,663437848 seconds time elapsed
在这里，我很难理解为什么我会更好：
cache-misses的数量几乎相同（我甚至还有一点点）：我无法理解为什么和（整体）如果是这样，为什么我会更快？cache-references？答案 0 :(得分：1)
我不相信性能摘要，因为不清楚每个名称代表什么以及他们编程遵循哪个性能计数器。已知默认设置可以计算错误的内容（请参阅 - https://software.intel.com/en-us/forums/software-tuning-performance-optimization-platform-monitoring/topic/557604）
这里可能发生的是，您的缓存未命中计数器也可能会计算预取指令（这可能看起来像是对机器的负载，尤其是当您在缓存层次结构中下降时）。在这种情况下，有更多的缓存引用（查找）是有道理的，你会期望这些请求是未命中的（预取的整个点是错过...）。
不要依赖某些模棱两可的计数器，而是找到代表 demand 的特定计算机的计数器ID和掩码读取查找和未命中，并查看它们是否有所改进。
编辑：再次查看你的号码，我看到增加了大约50M的访问次数，但是大约有70M未命中。由于预取
执行缓存抖动，可能会有更多未命中答案 1 :(得分：0)
无法理解为什么和（整体）如果是这样，为什么我更快？
因为您每次都会运行更多说明。旧的：
0,61 insn per cycle
和新的
0,95 insn per cycle
什么是缓存引用？
计算缓存被询问的次数，如果它确实包含您正在加载/存储的数据。
什么是任务时钟和周期？它们是否包括在高速缓存未命中时等待数据访问的时间？
是。但请注意，在今天的处理器中，没有任何等待。指令是无序执行的，通常是预取的，如果下一条指令需要一些未准备好的数据，其他指令将被执行。
答案 2 :(得分：0)
我最近在我的性能问题上取得了进展。我发现了许多新事件，其中一些非常有趣。
关于当前问题，必须结合以下事件：L1-icache-load-misses
当我在与之前相同的条件下使用perf监视我的测试应用程序时，我得到了此事件的以下值：
1 202 210 L1-icache-load-misses
针对
530 127 L1-icache-load-misses
目前，我还不明白为什么cache-misses事件在L1-icache-load-misses为src="about:blank"时不受预取影响...