Question

Cuda说共享内存只能由同一块中的数据共享。但是一个块最多只能有1024个线程。如果我有一个巨大的矩阵，并希望用最大化的线程取平均值，该怎么办？

以此为例。（我没有在一个块中使用最大化的线程，就像演示一样）

#include <iostream>
#include <stdio.h>

__global__ void
kernel(int *a, int dimx, int dimy)
{
int ix = blockDim.x * blockIdx.x + threadIdx.x;
int iy = blockDim.y * blockIdx.y + threadIdx.y;

int idx = iy * dimx + ix;

__shared__ int array[64];

a[idx] = a[idx] + 1;

array[idx] = a[idx];

__syncthreads();

int sum=0;
for(int i=0; i<dimx*dimy; i++)
{
    sum += array[i];
}

int average = sum/(dimx*dimy+1.0f);

a[idx] = average;

 }

int
main()
{
int dimx = 8;
int dimy = 8;
int num_bytes = dimx*dimy*sizeof(int);

int *d_a=0, *h_a=0; // device and host pointers
h_a = (int*)malloc(num_bytes);

for (int i=0; i < dimx*dimy; i++){
    *(h_a+i) = i;
}
cudaMalloc( (void**)&d_a, num_bytes );

//cudaMemset( d_a, 0, num_bytes );

cudaMemcpy( d_a, h_a, num_bytes, cudaMemcpyHostToDevice);

dim3 grid, block;
block.x = 4;
block.y = 4;
grid.x = dimx / block.x;
grid.y = dimy / block.y;

kernel<<<grid, block>>>(d_a, dimx, dimy);

cudaMemcpy( h_a, d_a, num_bytes, cudaMemcpyDeviceToHost );


std::cout << "the array a is:" << std::endl;
for (int row = 0; row < dimy; row++)
{
    for (int col =0; col < dimx; col++)
    {
        std::cout << h_a[row * dimx + col] << " ";
    }
    std::cout << std::endl;
}

free(h_a);
cudaFree(d_a);
}

我创建了四个块，并希望结果是所有块的平均值。结果是：

the array a is:
3 3 3 3 4 4 4 4 
3 3 3 3 4 4 4 4 
3 3 3 3 4 4 4 4 
3 3 3 3 4 4 4 4 
11 11 11 11 12 12 12 12 
11 11 11 11 12 12 12 12 
11 11 11 11 12 12 12 12 
11 11 11 11 12 12 12 12

每个区块都有自己的平均值，而不是整体平均值。我怎么能取平均值？

我是Cuda的新手。欢迎任何相关的答案。

Answer 1

最简单的方法是启动多个内核，这样你就可以执行每块平均值，将它们写入全局内存，然后启动另一个内核来处理前一个内核的每块结果。根据您的数据维度，您可能需要多次重复此操作。

e.g。（伪代码）

template <typename T>
__global__ reduce(T* data, T* block_avgs)
{
    //find the per-block average, write it out to block_avgs
    //...
}

//in your caller:
loop while you have more than 1 block:
    call kernel using result from prev. iteration
    update grid_dim and block_dim

这是必要的，因为CUDA中没有块间同步。你的问题是一个非常直接的减少应用。看一下并行缩减样本at the nvidia samples page，以便更好地了解缩减。

平均超过块Cuda

1 个答案: