Question

在上一篇文章here中，我询问了如何计算减少数组的总和。现在我有一个新问题，图像越大，我的结果就越不正确，每次运行都会改变。我测试了96 * 96图像尺寸array sample

第一次结果：28169.046875

第二次结果：28169.048828

预期成果：28169.031250

这是我的代码：

#include <stdio.h>
#include <cuda.h>

__global__  void calculate_threshold_kernel(float * input, float * output)
{

   int idx = blockIdx.x * blockDim.x + threadIdx.x;
   int t = threadIdx.x;
   __shared__ float partialSum[256];
   partialSum[t] = input[idx];
   __syncthreads();

   for (int stride = 1; stride < blockDim.x; stride *= 2)
   {
       if (t % (2 * stride) == 0)
           partialSum[t] += partialSum[t + stride];

       __syncthreads();
   }

   if (t == 0)
   {
       atomicAdd(output,partialSum[0]);
   }

}
int main( void )
{

    float *d_array, *d_output,*h_input, *h_output;
    int img_height = 96;
    int img_width = 96;
    int input_elements = img_height * img_width;

    h_input = (float*) malloc(sizeof(float) * input_elements);
    cudaMalloc((void**)&d_output, sizeof(float));
    cudaMemset(d_output, 0, sizeof(float));
    h_output = (float*)malloc(sizeof(float));
    cudaMalloc((void**)&d_array, input_elements*sizeof(float));

    float array[] = {[array sample]};
    for (int i = 0; i < input_elements; i++)
    {
        h_input[i] = array[i];
    }

    cudaMemcpy(d_array, h_input, input_elements*sizeof(float), cudaMemcpyHostToDevice);

        dim3 blocksize(256);
        dim3 gridsize(input_elements/blocksize.x);

        calculate_threshold_kernel<<<gridsize,blocksize>>>(d_array, d_output);

        cudaMemcpy(h_output, d_output, sizeof(float), cudaMemcpyDeviceToHost);

        printf("Sum from GPU = %f\n", *h_output);

    return 0;
}

Answer 1

虽然Kangshiyin的答案对于浮点精度和浮点运算是不可交换的是正确的，但他对结果不同的原因并不正确。

浮点运算是非可交换的，这意味着以不同顺序执行的运算可以返回不同的结果。例如，对于(((a+b)+c)+d)，((a+b)+(c+d))，a和b的特定值，c可能与d略有不同。但是这两个结果不应该在不同的运行中发生变化。
您的结果因不同的运行而异，因为atomicAdd会导致添加顺序不同。使用double也不能保证不同运行之间的结果相同。
有一些方法可以在没有atomicAdd的情况下实现并行缩减作为最后一步（例如：使用第二次内核启动来添加第一次启动时的部分和），这可以提供一致的（但与CPU略有不同）结果。 / p>

Answer 2

float精度有限，最多可达7个化学数字，如此处所述。

https://en.wikipedia.org/wiki/Floating_point#Accuracy_problems

~~结果发生变化，因为float上的操作是非交换的，并且您正在使用并行缩减。~~

结果会发生变化，因为float上的操作是非交换式的，并且您使用的是atomicAdd()，这不能保持添加的顺序。

如果您想要更准确的结果，可以使用double。

在CUDA中找到与线程大小相关的总和减少问题

2 个答案: