Question

我对来自NVidia的2份文件感到困惑。 “CUDA最佳实践”描述了共享存储器在存储体中组织，并且通常在32位模式下，每4个字节是一个存储体（这就是我所理解的）。但是，“带有CUDA的并行前缀求和（扫描）”（此处为：http://http.developer.nvidia.com/GPUGems3/gpugems3_ch39.html）详细说明了由于存储体冲突，应如何将填充添加到扫描算法中。

对我来说问题是，这个算法的基本类型是float，它的大小是4个字节。因此，每个浮动都是银行，没有银行冲突。

所以我的理解是正确的 - 即如果你使用4 * N字节类型，你不必担心银行冲突，因为根据定义，没有？如果不是，我应该如何理解它（何时使用填充）？

Answer 1

您可能会对this webinar共享内存中的NVIDIA CUDA webinar page感兴趣，包括来自this webinar的幻灯片35-45中的银行。

通常，共享内存库冲突可能发生在两个不同的线程试图访问（来自相同的内核指令）共享内存中的较低4（pre-cc2.0设备）或5位（cc2。 0和更新的设备）的地址是相同的。当发生银行冲突时，共享内存系统将访问序列化到同一组中的位置，从而降低性能。 Padding试图为某些访问模式避免这种情况。请注意，对于cc2.0和更高版本，如果所有位都相同（即相同位置），则不会导致银行冲突。

从图像上看，我们可以这样看：

__shared__ int A[2048];
int my;
my = A[0]; // A[0] is in bank 0
my = A[1]; // A[1] is in bank 1
my = A[2]; // A[2] is in bank 2
...
my = A[31]; // A[31] is in bank 31 (cc2.0 or newer device)
my = A[32]; // A[32] is in bank 0
my = A[33]; // A[33] is in bank 1

现在，如果我们在warp中的线程之间访问共享内存，我们可能会遇到银行冲突：

my = A[threadIdx.x];    // no bank conflicts or serialization - handled in one trans.
my = A[threadIdx.x*2];  // 2-way bank conflicts - will cause 2 level serialization
my = A[threadIdx.x*32]; // 32-way bank conflicts - will cause 32 level serialization

让我们仔细看看上面的双向银行冲突。由于我们将threadIdx.x乘以2，因此线程0访问存储区0中的位置0，但线程16访问位于存储区0中也的位置32，从而产生存储体冲突。对于上面的32路示例，所有地址都对应于bank 0.因此，共享内存的32个事务必须满足此请求，因为它们都是序列化的。

所以要回答这个问题， if 我知道我的访问模式就像这样：

my = A[threadIdx.x*32];

然后我可能想填充我的数据存储，以便A[32]是虚拟/填充位置，A[64]，A[96]等。然后我可以像这样获取相同的数据：

my = A[threadIdx.x*33];

获取我的数据，没有银行冲突。

希望这有帮助。

Answer 2

你的理解是错误的。当来自同一warp的线程正在访问位于同一个bank中的不同值时，就会发生银行冲突。

来自CUDA C编程指南：

为了实现高带宽，共享内存被分成大小相同的内存模块，称为bank，可以同时访问。因此，可以同时处理由n个不同存储体组中的n个地址组成的任何存储器读或写请求，从而产生的带宽是单个模块带宽的n倍。

但是，如果内存请求的两个地址属于同一个内存库，则存在库冲突，并且必须序列化访问。硬件根据需要将具有存储体冲突的存储器请求拆分为尽可能多的单独的无冲突请求，从而将吞吐量减少等于单独存储器请求的数量的因子。如果单独的内存请求数为n，则说初始内存请求会导致n路存储区冲突。

填充用于避免银行冲突。当您知道共享内存访问模式时，您可以确定如何填充共享内存阵列以避免银行冲突。

例如，如果假设您有__shared__ float x[32][32];，并且每个具有线程索引tid的线程正在访问x，就像这样somevariable = x[tid][0];。这将导致32路银行冲突，因为所有线程都从同一银行访问不同的值为避免冲突，您可以在第一维中使用另外一个元素填充数组：__shared__ float x[32][33];。这将完全消除银行冲突，因为现在每一行都有一个银行位置，相对于前一行偏移一个。

什么时候填充共享内存真的需要？

2 个答案: