Question

我正在为小输入数据（= 512个元素）分析一个非常转储排序算法。我正在调用一个内核，它从一个结构数组中读取合并形式。

结构如下所示：

struct __align__(8) Elements 
{
     float weight;
     int value;
};

nvprof为L1未命中/命中和gdl指令提供以下指令计数：

                  Invocations    Avg       Min       Max  Event Name
        Kernel: sort(Elements*)
                      500         0         0         0  gld_inst_8bit
                      500         0         0         0  gld_inst_16bit
                      500      1024      1024      1024  gld_inst_32bit
                      500         0         0         0  gld_inst_64bit
                      500         0         0         0  gld_inst_128bit
                      500       120       120       120  l1_global_load_hit
                      500       120       120       120  l1_global_load_miss
                      500         0         0         0  uncached_global_load_tr.

如果我改变结构的布局如下：

struct __align__(8) Elements 
{
     float weight;
     float value;
};

分析输出如下所示：

                  Invocations    Avg       Min       Max  Event Name
Device 0
        Kernel: sort(Elements*)
                      500         0         0         0  gld_inst_8bit
                      500         0         0         0  gld_inst_16bit
                      500         0         0         0  gld_inst_32bit
                      500       512       512       512  gld_inst_64bit
                      500         0         0         0  gld_inst_128bit
                      500         0         0         0  l1_global_load_hit
                      500       120       120       120  l1_global_load_miss
                      500         0         0         0  uncached_global_load_tr.

执行时间根本没有影响但我不明白为什么GPU在代码的第一个变体上执行32位加载指令而在第二个变量上执行64位指令。

使用1个块和512个线程调用内核（因此l1_global_load_x计数器可能不正确）。所有这些都在带有CUDA 5.0的GeForce 480上进行。

修改排序内核（稍微缩短）：

__global__ void sort(Elements* nearest)
{
    ThreadIndex idx = index();

    __shared__ Elements temp[MAX_ELEMENTS];
    __shared__ int index_cache[MAX_ELEMENTS];

    temp[idx.x] = nearest[idx.x];

    WeightedElements elem = temp[idx.x];
    __syncthreads();

    int c = 0;

    // some index crunching 

    nearest[idx.x] = temp[c];
}

Answer 1

这个的基本原因是由编译器生成代码。 PTX汇编程序具有不同的浮点和整数虚拟寄存器状态空间，它（我认为）不可能在不同的状态空间中对两个寄存器执行64位加载。因此编译器在混合整数/浮点结构中发出两个32位加载，但是可以在float / float结构的情况下向64个向量加载到两个寄存器中。

这可以通过考虑以下代码模型来说明：

struct __align__(8) ElementsB 
{
    float weight;
    float value;
};

struct __align__(8) ElementsA 
{
    float weight;
    int value;
};

template<typename T>
__global__ void kernel(const T* __restrict__ in, T* __restrict__ out, bool flag)
{
    int idx = threadIdx.x + blockIdx.x * blockDim.x;

    T ival = in[idx];
    if (flag) {
        out[idx] = ival;
    }
}


template __global__ void kernel<ElementsA>(const ElementsA *, ElementsA *, bool);
template __global__ void kernel<ElementsB>(const ElementsB *, ElementsB *, bool);

这里我们提到了你提到的两个结构，以及为这两种类型实例化的简单模板化内核。如果我们查看编译器为sm_20（CUDA 5.0发布编译器）发出的PTX，差异是显而易见的。对于ElementsA实例：

    ld.param.u32    %r4, [_Z6kernelI9ElementsAEvPKT_PS1_b_param_0];
    ld.param.u32    %r5, [_Z6kernelI9ElementsAEvPKT_PS1_b_param_1];
    ld.param.u8     %rc1, [_Z6kernelI9ElementsAEvPKT_PS1_b_param_2];
    cvta.to.global.u32      %r1, %r5;
    cvta.to.global.u32      %r6, %r4;
    .loc 2 16 1
    mov.u32         %r7, %ntid.x;
    mov.u32         %r8, %ctaid.x;
    mov.u32         %r9, %tid.x;
    mad.lo.s32      %r2, %r7, %r8, %r9;
    .loc 2 18 1
    shl.b32         %r10, %r2, 3;
    add.s32         %r11, %r6, %r10;
    ld.global.u32   %r3, [%r11+4];  // 32 bit integer load
    ld.global.f32   %f1, [%r11];  // 32 bit floating point load

（为强调添加评论）

和Element B实例：

    ld.param.u32    %r3, [_Z6kernelI9ElementsBEvPKT_PS1_b_param_0];
    ld.param.u32    %r4, [_Z6kernelI9ElementsBEvPKT_PS1_b_param_1];
    ld.param.u8     %rc1, [_Z6kernelI9ElementsBEvPKT_PS1_b_param_2];
    cvta.to.global.u32      %r1, %r4;
    cvta.to.global.u32      %r5, %r3;
    .loc 2 16 1
    mov.u32         %r6, %ntid.x;
    mov.u32         %r7, %ctaid.x;
    mov.u32         %r8, %tid.x;
    mad.lo.s32      %r2, %r6, %r7, %r8;
    .loc 2 18 1
    shl.b32         %r9, %r2, 3;
    add.s32         %r10, %r5, %r9;
    ld.global.v2.f32        {%f9, %f10}, [%r10];  // 64 bit float2 load

两者之间没有性能损失的原因是底层硬件使用128字节提取来进行合并的warp级别加载，并且在这两种情况下，事务都会产生相同的128字节提取对。

分析CUDA代码：合并的内存读取上的意外指令计数

1 个答案: