使用Thrust库获取最近的质心? (K均值)

时间:2014-05-31 13:27:13

标签: c++ cuda k-means thrust

我已经完成了计算距离并存储在推力矢量中,例如,我有2个质心和5个数据点,我计算距离的方式是每个质心我首先用5个数据点计算距离并存储在数组以及后来与距离中的1d数组中的其他质心,就像这样:

for (int i = 0; i < centroids.size(); ++i)
{
    computeDistance(Data, distances, centroids[i], nDataPoints, nDimensions);
}

导致向量1d,例如:

DistancesValues = {10, 15, 20, 12, 10, 5, 17, 22, 8, 7}

DatapointsIndex = {1, 2,  3,   4,  5,  1,  2,  3, 4, 5}

前5个值表示质心1,其他5个值表示质心2。

如果有推力函数我可以将计数存储在每个质心的最小值的另一个数组中,我想知道什么?

比较每个索引的值,结果应为:

Counts = {2, 3}

其中:

CountOfCentroid 1 = 2       
CountOfCentroid 2 = 3

1 个答案:

答案 0 :(得分:2)

这是一种可能的方法:

  1. 创建一个额外的质心索引向量:

    DistancesValues = {10, 15, 20, 12, 10, 5, 17, 22,  8, 7}
    DatapointsIndex = {1,   2,  3,  4,  5, 1,  2,  3,  4, 5}
    CentroidIndex   = {1,   1,  1,  1,  1, 2,  2,  2,  2, 2}
    
  2. 现在执行sort_by_key,使用DatapointsIndex作为键,将其他两个矢量压缩在一起作为值。这具有重新排列所有3个向量的效果,以便DatapointsIndex具有组合在一起的相似索引:

    DatapointsIndex = {1, 1, 2, 2, 3, 3, 4, 4, 5, 5} 
    

    (其他2个向量相应重新排列)。

  3. 现在执行reduce_by_key。如果我们选择thrust::minimum运算符,我们会得到一个有效选择组中最小值的减少(而不是对组中的值求和)。 reduce_by_key表示对每个连续的相似键组进行减少。因此,我们将再次使用DatapointsIndex作为我们的关键向量,将另外两个向量压缩在一起作为我们的值向量。除了从CentroidIndex向量发出的结果向量之外,我们不关心reduce_by_key的大部分输出。通过计算此结果向量中的质心指数,我们可以得到所需的输出。

  4. 这是一个完整的例子:

    $ cat t428.cu
    #include <thrust/host_vector.h>
    #include <thrust/device_vector.h>
    #include <thrust/sort.h>
    #include <thrust/reduce.h>
    #include <thrust/copy.h>
    #include <thrust/iterator/zip_iterator.h>
    #include <thrust/iterator/discard_iterator.h>
    #include <stdio.h>
    #define NUM_POINTS 5
    #define NUM_CENTROID 2
    #define DSIZE (NUM_POINTS*NUM_CENTROID)
    
    int main(){
    
      int DistancesValues[DSIZE] = {10, 15, 20, 12, 10, 5, 17, 22, 8, 7};
      int DatapointsIndex[DSIZE] = {1, 2,  3,   4,  5,  1,  2,  3, 4, 5};
      int CentroidIndex[DSIZE]   = {1, 1, 1, 1, 1, 2, 2, 2, 2, 2};
    
      thrust::device_vector<int> DV(DistancesValues, DistancesValues + DSIZE);
      thrust::device_vector<int> DI(DatapointsIndex, DatapointsIndex + DSIZE);
      thrust::device_vector<int> CI(CentroidIndex, CentroidIndex + DSIZE);
      thrust::device_vector<int> Ra(NUM_POINTS);
      thrust::device_vector<int> Rb(NUM_POINTS);
    
      thrust::sort_by_key(DI.begin(), DI.end(), thrust::make_zip_iterator(thrust::make_tuple(DV.begin(), CI.begin())));
      thrust::reduce_by_key(DI.begin(), DI.end(), thrust::make_zip_iterator(thrust::make_tuple(DV.begin(), CI.begin())), thrust::make_discard_iterator(), thrust::make_zip_iterator(thrust::make_tuple(Ra.begin(), Rb.begin())), thrust::equal_to<int>(), thrust::minimum<thrust::tuple<int, int> >());
      printf("CountOfCentroid 1 = %d\n", thrust::count(Rb.begin(), Rb.end(), 1));
      printf("CountOfCentroid 2 = %d\n", thrust::count(Rb.begin(), Rb.end(), 2));
    
      return 0;
    }
    
    $ nvcc -arch=sm_20 -o t428 t428.cu
    $ ./t428
    CountOfCentroid 1 = 2
    CountOfCentroid 2 = 3
    $
    

    正如埃里克在答案here中指出的那样(你的问题几乎与那个问题重复),sort_by_key可能是不必要的。这些数据的重新排序遵循常规模式,因​​此我们不需要利用排序的复杂性,因此可以通过巧妙地使用迭代器来重新排序数据。在这种情况下,可以通过一次调用reduce_by_key来完成整个操作(大约)。