Question

我试图描述一些CUDA Rodinia基准测试，包括他们的SM和内存利用率，功耗等。为此，我同时执行基准测试和基本上使用NVML库生成pthread以分析GPU执行的分析器。

问题是基准测试的执行时间比基准测试程序执行基准测试时的情况要高得多（大约3倍）。 CPU的频率调节控制器是用户空间，所以我不认为CPU的频率在变化。是因为GPU频率闪烁吗？以下是探查器的代码。

#include <pthread.h>
#include <stdio.h>
#include "nvml.h"
#include "unistd.h"
#define NUM_THREADS     1

void *PrintHello(void *threadid)
{
   long tid;
   tid = (long)threadid;
  // printf("Hello World! It's me, thread #%ld!\n", tid);

nvmlReturn_t result;
nvmlDevice_t device;
nvmlUtilization_t utilization;
nvmlClockType_t jok;
unsigned int device_count, i,powergpu,clo;
char version[80];
result = nvmlInit();
result = nvmlSystemGetDriverVersion(version,80);
printf("\n Driver version: %s \n\n", version);
result = nvmlDeviceGetCount(&device_count);
printf("Found %d device%s\n\n", device_count,
device_count != 1 ? "s" : "");
printf("Listing devices:\n");
result = nvmlDeviceGetHandleByIndex(0, &device);

while(1)

{
result = nvmlDeviceGetPowerUsage(device,&powergpu );
result = nvmlDeviceGetUtilizationRates(device, &utilization);
printf("\n%d\n",powergpu);




        if (result == NVML_SUCCESS)
        {
           printf("%d\n",  utilization.gpu);
           printf("%d\n",  utilization.memory);
        }
result=nvmlDeviceGetClockInfo(device,NVML_CLOCK_SM,&clo);
if(result==NVML_SUCCESS)
{
printf("%d\n",clo);
}
usleep(500000);
}


pthread_exit(NULL);
}

int main (int argc, char *argv[])
{
   pthread_t threads[NUM_THREADS];

int rc;
   long t;
   for(t=0; t<NUM_THREADS; t++){
      printf("In main: creating thread %ld\n", t);
      rc = pthread_create(&threads[t], NULL, PrintHello, (void *)t);
      if (rc){
         printf("ERROR; return code from pthread_create() is %d\n", rc);
         exit(-1);
      }
   }

   /* Last thing that main() should do */
   pthread_exit(NULL);

}

Answer 1

当你的探查器运行时，GPU被拉出睡眠状态（由于访问了nvml API，它正在查询来自GPU的数据）。这使得它们对CUDA应用程序的响应速度更快，因此如果您在整个应用程序执行期间（例如使用linux time命令），应用程序似乎“运行得更快”。

一种解决方案是使用nvidia-smi命令将GPU置于“持久模式”（使用nvidia-smi --help获取命令行帮助）。

另一种解决方案是从应用程序内部进行计时，并从计时测量中排除CUDA启动时间，可能是在计时开始之前执行cuda命令，例如cudaFree(0);。 / p>

CUDA基准测试中的执行时间问题

1 个答案: