我正在为小输入数据(= 512个元素)分析一个非常转储排序算法。我正在调用一个内核,它从一个结构数组中读取合并形式。
结构如下所示:
struct __align__(8) Elements
{
float weight;
int value;
};
nvprof为L1未命中/命中和gdl指令提供以下指令计数:
Invocations Avg Min Max Event Name
Kernel: sort(Elements*)
500 0 0 0 gld_inst_8bit
500 0 0 0 gld_inst_16bit
500 1024 1024 1024 gld_inst_32bit
500 0 0 0 gld_inst_64bit
500 0 0 0 gld_inst_128bit
500 120 120 120 l1_global_load_hit
500 120 120 120 l1_global_load_miss
500 0 0 0 uncached_global_load_tr.
如果我改变结构的布局如下:
struct __align__(8) Elements
{
float weight;
float value;
};
分析输出如下所示:
Invocations Avg Min Max Event Name
Device 0
Kernel: sort(Elements*)
500 0 0 0 gld_inst_8bit
500 0 0 0 gld_inst_16bit
500 0 0 0 gld_inst_32bit
500 512 512 512 gld_inst_64bit
500 0 0 0 gld_inst_128bit
500 0 0 0 l1_global_load_hit
500 120 120 120 l1_global_load_miss
500 0 0 0 uncached_global_load_tr.
执行时间根本没有影响但我不明白为什么GPU在代码的第一个变体上执行32位加载指令而在第二个变量上执行64位指令。
使用1个块和512个线程调用内核(因此l1_global_load_x计数器可能不正确)。所有这些都在带有CUDA 5.0的GeForce 480上进行。
修改 排序内核(稍微缩短):
__global__ void sort(Elements* nearest)
{
ThreadIndex idx = index();
__shared__ Elements temp[MAX_ELEMENTS];
__shared__ int index_cache[MAX_ELEMENTS];
temp[idx.x] = nearest[idx.x];
WeightedElements elem = temp[idx.x];
__syncthreads();
int c = 0;
// some index crunching
nearest[idx.x] = temp[c];
}
答案 0 :(得分:1)
这个的基本原因是由编译器生成代码。 PTX汇编程序具有不同的浮点和整数虚拟寄存器状态空间,它(我认为)不可能在不同的状态空间中对两个寄存器执行64位加载。因此编译器在混合整数/浮点结构中发出两个32位加载,但是可以在float / float结构的情况下向64个向量加载到两个寄存器中。
这可以通过考虑以下代码模型来说明:
struct __align__(8) ElementsB
{
float weight;
float value;
};
struct __align__(8) ElementsA
{
float weight;
int value;
};
template<typename T>
__global__ void kernel(const T* __restrict__ in, T* __restrict__ out, bool flag)
{
int idx = threadIdx.x + blockIdx.x * blockDim.x;
T ival = in[idx];
if (flag) {
out[idx] = ival;
}
}
template __global__ void kernel<ElementsA>(const ElementsA *, ElementsA *, bool);
template __global__ void kernel<ElementsB>(const ElementsB *, ElementsB *, bool);
这里我们提到了你提到的两个结构,以及为这两种类型实例化的简单模板化内核。如果我们查看编译器为sm_20(CUDA 5.0发布编译器)发出的PTX,差异是显而易见的。对于ElementsA
实例:
ld.param.u32 %r4, [_Z6kernelI9ElementsAEvPKT_PS1_b_param_0];
ld.param.u32 %r5, [_Z6kernelI9ElementsAEvPKT_PS1_b_param_1];
ld.param.u8 %rc1, [_Z6kernelI9ElementsAEvPKT_PS1_b_param_2];
cvta.to.global.u32 %r1, %r5;
cvta.to.global.u32 %r6, %r4;
.loc 2 16 1
mov.u32 %r7, %ntid.x;
mov.u32 %r8, %ctaid.x;
mov.u32 %r9, %tid.x;
mad.lo.s32 %r2, %r7, %r8, %r9;
.loc 2 18 1
shl.b32 %r10, %r2, 3;
add.s32 %r11, %r6, %r10;
ld.global.u32 %r3, [%r11+4]; // 32 bit integer load
ld.global.f32 %f1, [%r11]; // 32 bit floating point load
(为强调添加评论)
和Element B
实例:
ld.param.u32 %r3, [_Z6kernelI9ElementsBEvPKT_PS1_b_param_0];
ld.param.u32 %r4, [_Z6kernelI9ElementsBEvPKT_PS1_b_param_1];
ld.param.u8 %rc1, [_Z6kernelI9ElementsBEvPKT_PS1_b_param_2];
cvta.to.global.u32 %r1, %r4;
cvta.to.global.u32 %r5, %r3;
.loc 2 16 1
mov.u32 %r6, %ntid.x;
mov.u32 %r7, %ctaid.x;
mov.u32 %r8, %tid.x;
mad.lo.s32 %r2, %r6, %r7, %r8;
.loc 2 18 1
shl.b32 %r9, %r2, 3;
add.s32 %r10, %r5, %r9;
ld.global.v2.f32 {%f9, %f10}, [%r10]; // 64 bit float2 load
两者之间没有性能损失的原因是底层硬件使用128字节提取来进行合并的warp级别加载,并且在这两种情况下,事务都会产生相同的128字节提取对。