Question

是否有一种方法可以使整数计数器变量在并行化的cuda内核中的所有线程之间递增/递减？下面的代码输出“ [1]”，因为一个线程对计数器数组的修改未应用到另一个线程。

import numpy as np
from numba import cuda


@cuda.jit('void(int32[:])')
def func(counter):
    counter[0] = counter[0] + 1


counter = cuda.to_device(np.zeros(1, dtype=np.int32))
threadsperblock = 64
blockspergrid = 18
func[blockspergrid, threadsperblock](counter)
print(counter.copy_to_host())

Answer 1

一种方法是使用numba cuda atomics：

$ cat t18.py
import numpy as np
from numba import cuda


@cuda.jit('void(int32[:])')
def func(counter):
    cuda.atomic.add(counter, 0, 1)


counter = cuda.to_device(np.zeros(1, dtype=np.int32))
threadsperblock = 64
blockspergrid = 18
print blockspergrid * threadsperblock
func[blockspergrid, threadsperblock](counter)
print(counter.copy_to_host())
$ python t18.py
1152
[1152]
$

atomic operation对目标执行不可分割的读-修改-写操作，因此线程在更新目标变量时不会互相干扰。

根据您的实际需求，当然可以使用其他方法，例如classical parallel reduction。 numba还提供了一些reduction sugar。

Cuda并行化内核共享计数器变量

1 个答案: