分析CUDA代码:合并的内存读取上的意外指令计数

时间:2013-08-27 11:03:27

标签: cuda profiling instructions

我正在为小输入数据(= 512个元素)分析一个非常转储排序算法。我正在调用一个内核,它从一个结构数组中读取合并形式。

结构如下所示:

struct __align__(8) Elements 
{
     float weight;
     int value;
};

nvprof为L1未命中/命中和gdl指令提供以下指令计数:

                  Invocations    Avg       Min       Max  Event Name
        Kernel: sort(Elements*)
                      500         0         0         0  gld_inst_8bit
                      500         0         0         0  gld_inst_16bit
                      500      1024      1024      1024  gld_inst_32bit
                      500         0         0         0  gld_inst_64bit
                      500         0         0         0  gld_inst_128bit
                      500       120       120       120  l1_global_load_hit
                      500       120       120       120  l1_global_load_miss
                      500         0         0         0  uncached_global_load_tr.

如果我改变结构的布局如下:

struct __align__(8) Elements 
{
     float weight;
     float value;
};

分析输出如下所示:

                  Invocations    Avg       Min       Max  Event Name
Device 0
        Kernel: sort(Elements*)
                      500         0         0         0  gld_inst_8bit
                      500         0         0         0  gld_inst_16bit
                      500         0         0         0  gld_inst_32bit
                      500       512       512       512  gld_inst_64bit
                      500         0         0         0  gld_inst_128bit
                      500         0         0         0  l1_global_load_hit
                      500       120       120       120  l1_global_load_miss
                      500         0         0         0  uncached_global_load_tr.

执行时间根本没有影响但我不明白为什么GPU在代码的第一个变体上执行32位加载指令而在第二个变量上执行64位指令。

使用1个块和512个线程调用内核(因此l1_global_load_x计数器可能不正确)。所有这些都在带有CUDA 5.0的GeForce 480上进行。

修改 排序内核(稍微缩短):

__global__ void sort(Elements* nearest)
{
    ThreadIndex idx = index();

    __shared__ Elements temp[MAX_ELEMENTS];
    __shared__ int index_cache[MAX_ELEMENTS];

    temp[idx.x] = nearest[idx.x];

    WeightedElements elem = temp[idx.x];
    __syncthreads();

    int c = 0;

    // some index crunching 

    nearest[idx.x] = temp[c];
}

1 个答案:

答案 0 :(得分:1)

这个的基本原因是由编译器生成代码。 PTX汇编程序具有不同的浮点和整数虚拟寄存器状态空间,它(我认为)不可能在不同的状态空间中对两个寄存器执行64位加载。因此编译器在混合整数/浮点结构中发出两个32位加载,但是可以在float / float结构的情况下向64个向量加载到两个寄存器中。

这可以通过考虑以下代码模型来说明:

struct __align__(8) ElementsB 
{
    float weight;
    float value;
};

struct __align__(8) ElementsA 
{
    float weight;
    int value;
};

template<typename T>
__global__ void kernel(const T* __restrict__ in, T* __restrict__ out, bool flag)
{
    int idx = threadIdx.x + blockIdx.x * blockDim.x;

    T ival = in[idx];
    if (flag) {
        out[idx] = ival;
    }
}


template __global__ void kernel<ElementsA>(const ElementsA *, ElementsA *, bool);
template __global__ void kernel<ElementsB>(const ElementsB *, ElementsB *, bool);

这里我们提到了你提到的两个结构,以及为这两种类型实例化的简单模板化内核。如果我们查看编译器为sm_20(CUDA 5.0发布编译器)发出的PTX,差异是显而易见的。对于ElementsA实例:

    ld.param.u32    %r4, [_Z6kernelI9ElementsAEvPKT_PS1_b_param_0];
    ld.param.u32    %r5, [_Z6kernelI9ElementsAEvPKT_PS1_b_param_1];
    ld.param.u8     %rc1, [_Z6kernelI9ElementsAEvPKT_PS1_b_param_2];
    cvta.to.global.u32      %r1, %r5;
    cvta.to.global.u32      %r6, %r4;
    .loc 2 16 1
    mov.u32         %r7, %ntid.x;
    mov.u32         %r8, %ctaid.x;
    mov.u32         %r9, %tid.x;
    mad.lo.s32      %r2, %r7, %r8, %r9;
    .loc 2 18 1
    shl.b32         %r10, %r2, 3;
    add.s32         %r11, %r6, %r10;
    ld.global.u32   %r3, [%r11+4];  // 32 bit integer load
    ld.global.f32   %f1, [%r11];  // 32 bit floating point load

(为强调添加评论)

Element B实例:

    ld.param.u32    %r3, [_Z6kernelI9ElementsBEvPKT_PS1_b_param_0];
    ld.param.u32    %r4, [_Z6kernelI9ElementsBEvPKT_PS1_b_param_1];
    ld.param.u8     %rc1, [_Z6kernelI9ElementsBEvPKT_PS1_b_param_2];
    cvta.to.global.u32      %r1, %r4;
    cvta.to.global.u32      %r5, %r3;
    .loc 2 16 1
    mov.u32         %r6, %ntid.x;
    mov.u32         %r7, %ctaid.x;
    mov.u32         %r8, %tid.x;
    mad.lo.s32      %r2, %r6, %r7, %r8;
    .loc 2 18 1
    shl.b32         %r9, %r2, 3;
    add.s32         %r10, %r5, %r9;
    ld.global.v2.f32        {%f9, %f10}, [%r10];  // 64 bit float2 load

两者之间没有性能损失的原因是底层硬件使用128字节提取来进行合并的warp级别加载,并且在这两种情况下,事务都会产生相同的128字节提取对。