Question

这是my CUDA code：

#include<stdio.h>
#include<assert.h>
void verify(float * A, float * B, int size);

__global__ void CopyData(float *d_array, float* d_dest_array, size_t pitch, int cols, int rows)
{
  for(int i=0; i<rows; i++){
        float *rowData = (float*)(((char*)d_array) + (i*pitch));
        for(int j=0; j<cols; j++){
            d_dest_array[i*cols+j] = *(rowData+j);
        }
    }
}

int main(int argc, char **argv)
{
    int row, col, i, j; 
    float time1, time2;
    float *d_array;                 // dev arr which mem will be alloc to
    float *d_dest_array;        // dev arr that will be a copy
    size_t pitch;                       // ensures correct data struc alignm    
    if(argc != 3)
  {
        printf("Usage: %s [row] [col]\n", argv[0]);
        return 1;
  }

    row = atoi(argv[1]);
    col = atoi(argv[2]);
    float *h1_array = new float[col*row];
    float *h2_array = new float[col*row];
    float *h_ori_array = new float[col*row];
    for (i = 0; i<row; i++){
        for(j = 0; j<col; j++){
            h_ori_array[i*col+j] = i*col + j;
        }
    }
    cudaEvent_t start, stop;

    cudaMallocPitch(&d_array, &pitch, col*sizeof(float), row);
    cudaMalloc(&d_dest_array, col*row*sizeof(float));
    cudaMemcpy2D(d_array, pitch, h_ori_array, col*sizeof(float), col*sizeof(float), row, cudaMemcpyHostToDevice);
    cudaEventCreate(&start);
    cudaEventCreate(&stop);
    cudaEventRecord(start, 0);
    //CopyData<<<100, 512>>>(d_array, d_dest_array, pitch, col, row);
    for (i = 0; i<row; i++){
        for(j = 0; j<col; j++){
            h1_array[i*col+j] = h_ori_array[i*col+j];
        }
    }
    cudaEventRecord(stop, 0);
    cudaEventSynchronize(stop);
    cudaEventElapsedTime(&time1, start, stop);

    cudaEventCreate(&start);
    cudaEventCreate(&stop);
    cudaEventRecord(start, 0);
    CopyData<<<row*col/512, 512>>>(d_array, d_dest_array, pitch, col, row);
    cudaEventRecord(stop, 0);
    cudaEventSynchronize(stop);
    cudaEventElapsedTime(&time2, start, stop);

    cudaMemcpy2D(h2_array, pitch, d_dest_array, col*sizeof(float), col*sizeof(float), row, cudaMemcpyDeviceToHost);

    verify(h1_array, h2_array, row*col);

    free(h1_array); free(h2_array); free(h_ori_array);
  cudaFree(d_array); cudaFree(d_dest_array);
    printf("Exec time in ser = %f, par = %f ms with pitch %d", time1, time2, (int)pitch); 

    return 0;
}

void verify(float * A, float * B, int size)
{
    for (int i = 0; i < size; i++)
    {
        assert(A[i]==B[i]);
    }
     printf("Correct!");
}

它只是制作矩阵的副本。编写串行和并行版本，以便我可以比较它们。

如果数组大小为64，则给出错误答案。对于256及更高版本，它给出正确答案。然而，512x512矩阵需要4秒钟。

我对cudaMemcpy2D感到不舒服。有人可以指出我做错了什么吗？任何有关CUDA编码实践的建议也将受到赞赏。 此外，在调用内核时，如何确定块和网格尺寸？

编辑1： 我使用的CopyData函数不使用并行性。我愚蠢地从VIHARRI's answer at the bottom of the page复制了它。

那里的选定答案没有说明数据的方式从主机复制到设备。有人可以展示如何使用它 cudaMallocPitch和cudaMemcpy2D的功能？我正在寻找正确的方法来索引内核以及将2D阵列从主机复制到设备的正确方法。

Answer 1

您只运行一个CUDA线程。（实际上，经过仔细检查，您在多个线程中运行相同的代码，但结果是相同的：您并未真正利用GPU硬件。）

理想情况下，您需要运行数百或数千个并发线程才能获得最佳性能。一种方法是每个输出元素有一个线程，然后在每个线程中使用网格，块和线程ID来确定要处理的输出元素。查看CUDA SDK中的示例，了解使用CUDA进行并行处理的一般模式。

Cuda矩阵复制程序非常慢

1 个答案: