Question

我想了解一个块中的线程数如何影响cuda程序的性能和速度。我写了一个简单的向量加法代码，这是我的代码：

#define gpuErrchk(ans) { gpuAssert((ans), __FILE__, __LINE__); }
inline void gpuAssert(cudaError_t code, const char *file, int line, bool abort=true)
{
   if (code != cudaSuccess)
   {
      fprintf(stderr,"GPUassert: %s %s %d\n", cudaGetErrorString(code), file, line);
      if (abort) exit(code);
   }
}
__global__ void gpuVecAdd(float *a, float *b, float *c, int n) {
    int id = blockIdx.x * blockDim.x + threadIdx.x;
    if (id < n) {
        c[id] = a[id] + b[id];
    }
}
int main() {
    int n = 1000000;
    float  *h_a, *h_b, *h_c, *t;
    srand(time(NULL));
    size_t bytes = n* sizeof(float);
    h_a = (float*) malloc(bytes);
    h_b = (float*) malloc(bytes);
    h_c = (float*) malloc(bytes);
    for (int i=0; i<n; i++)
        {
         h_a[i] =rand()%10;
          h_b[i] =rand()%10;
        }
   float *d_a, *d_b, *d_c;
   cudaMalloc(&d_a, bytes);
   cudaMalloc(&d_b, bytes);
   cudaMalloc(&d_c, bytes);

   gpuErrchk( cudaMemcpy(d_a, h_a, bytes, cudaMemcpyHostToDevice));
   gpuErrchk( cudaMemcpy(d_b, h_b, bytes, cudaMemcpyHostToDevice));

   clock_t t1,t2;
   t1 = clock();
   int block_size = 1024;
   gpuVecAdd<<<ceil(float(n/block_size)),block_size>>>(d_a, d_b, d_c, n);
   gpuErrchk( cudaPeekAtLastError() );
   t2 = clock();
   cout<<(float)(t2-t1)/CLOCKS_PER_SEC<<" seconds";
   gpuErrchk(cudaMemcpy(h_c, d_c, bytes, cudaMemcpyDeviceToHost));
cudaFree(d_a);
   cudaFree(d_b);
   cudaFree(d_c);
   free(h_a);
   free(h_b);
   free(h_c);
}

我读了this post并根据talonmies的回答“每个块的线程数应该是warp大小的圆整倍数，在所有当前硬件上都是32。”

我用每个块的不同线程数检查了代码，例如，2和1024（这是32的乘法，也是每个块的最大线程数）。两种尺寸的平均运行时间几乎相等，我看不出它们之间存在巨大差异。这是为什么？我的基准测试不正确吗？

Answer 1

在CUDA中启动的GPU内核是异步。这意味着在内核完成执行之前，控制权将返回到CPU线程。

如果我们希望CPU线程计算内核的持续时间，我们必须让CPU线程等到内核完成。我们可以通过在时间区域调用cudaDeviceSynchronize()来完成此操作。然后测量的时间将包括内核执行的完整持续时间。

试验找出块大小对cuda程序速度的影响

1 个答案: