Question

使用Thrust直接对交错（即由向量支持）数组的行求和，如示例here所示。

我想要做的是对数组的列求和。

我尝试使用类似的结构，即：

// convert a linear index to a column index
template <typename T>
struct linear_index_to_col_index : public thrust::unary_function<T,T>
{
  T C; // number of columns

  __host__ __device__
  linear_index_to_col_index(T C) : C(C) {}

  __host__ __device__
  T operator()(T i)
  {
    return i % C;
  }
};

// allocate storage for column sums and indices
thrust::device_vector<int> col_sums(C);
thrust::device_vector<int> col_indices(C);

// compute row sums by summing values with equal row indices
thrust::reduce_by_key
  (thrust::make_transform_iterator(thrust::counting_iterator<int>(0), linear_index_to_col_index<int>(C)),
   thrust::make_transform_iterator(thrust::counting_iterator<int>(0), linear_index_to_col_index<int>(C)) + (R*C),
   array.begin(),
   col_indices.begin(),
   col_sums.begin(),
   thrust::equal_to<int>(),
   thrust::plus<int>());

然而，这导致仅对第一列求和，其余则被忽略。我猜测为什么会发生这种情况，如reduce_by_key docs中所述：

对于[keys_first，keys_last]范围内相等的每组连续键，reduce_by_key将组的第一个元素复制到keys_output。 [强调我的]

如果我的理解是正确的，因为行迭代器中的键是连续的（即索引[0 - （C-1）]将给出0，那么[C - （2C-1）]将给出1，依此类推），他们最终被总结在一起。

但是列迭代器将索引[0 - （C-1）]映射到[0 - （C-1）]然后重新开始，索引[C - （2C-1）]将映射到[0 - （C-1）]等使得产生的值不连续。

这种行为对我来说是非常直接的，我期望分配给同一个键的所有数据点被组合在一起，但这是另一个讨论。

无论如何，我的问题是：如何使用Thrust对交错数组的列进行求和？

Answer 1

这些操作（求和行，求和列等）通常是GPU上的内存带宽限制。因此，我们可能想要考虑如何构建一个能够最佳利用GPU内存带宽的算法。特别是如果可能的话，我们希望从推力代码生成的底层存储器访问是合并。简而言之，这意味着相邻的GPU线程将从内存中的相邻位置读取。

原始row-summing example显示此属性：推力产生的相邻线程将读取内存中的相邻元素。例如，如果我们有R行，那么我们可以看到推力创建的第一个R线程都将在reduce_by_key操作期间读取矩阵的第一个“行” 。由于与第一行关联的内存位置都被组合在一起，因此我们获得了合并访问。

解决此问题的一种方法（如何对列进行求和）将使用与行求和示例类似的策略，但使用permutation_iterator导致所有线程都属于同一个键序列来读取数据的列而不是行的数据。这个置换迭代器将采用底层数组和映射序列。此映射序列由transform_iterator创建，使用special functor应用于counting_iterator，将线性（行主要）索引转换为列主要索引，以便第一个{ {1}}线程将读取矩阵的第一个列的元素，而不是第一行。由于第一个C线程将属于同一个键序列，因此它们将在C操作中汇总在一起。这就是我在下面的代码中称为方法1的方法。

然而，这种方法的缺点是相邻线程不再读取内存中的相邻值 - 我们已经破坏了合并，正如我们将看到的，性能影响是显而易见的。

对于以内存中的行主要顺序存储的大型矩阵（我们在此问题中讨论的排序），对列求和的一种相当优化的方法是让每个线程求和一个列带有for循环。这在CUDA C中实现相当简单，我们可以使用适当定义的函数在Thrust中类似地执行此操作。

我在下面的代码中将其称为方法2。此方法仅启动与矩阵中的列一样多的线程。对于具有足够大的列数（例如10,000或更多）的矩阵，该方法将使GPU饱和并有效地使用可用的存储器带宽。如果你检查仿函数，你会发现这是一种有点“不寻常”的推力调整，但完全合法。

以下是比较两种方法的代码：

reduce_by_key

很明显，对于足够大的矩阵，方法2比方法1快得多。

如果您不熟悉排列迭代器，请查看thrust quick start guide。

CUDA / Thrust：如何对交错数组的列求和？

1 个答案: