Question

最近我一直在使用推力。我注意到为了使用推力，必须始终将数据从cpu内存复制到gpu内存我们来看下面的例子：

int foo(int *foo)
{
     host_vector<int> m(foo, foo+ 100000);
     device_vector<int> s = m;
}

我不太确定host_vector构造函数是如何工作的，但似乎我正在复制初始数据，来自*foo，两次 - 初始化后一次复制到host_vector，以及device_vector初始化的另一个时间。是否有更好的方法从cpu复制到gpu而不制作中间数据副本？我知道我可以使用device_ptr作为包装，但这仍然无法解决我的问题谢谢！

Answer 1

device_vector的一个构造函数采用两个迭代器指定的一系列元素。理解示例中的原始指针非常聪明，因此您可以直接构造device_vector并避免使用临时host_vector：

void my_function_taking_host_ptr(int *raw_ptr, size_t n)
{
  // device_vector assumes raw_ptrs point to system memory
  thrust::device_vector<int> vec(raw_ptr, raw_ptr + n);

  ...
}

如果您的原始指针指向CUDA内存，请引入device_ptr：

void my_function_taking_cuda_ptr(int *raw_ptr, size_t n)
{
  // wrap raw_ptr before passing to device_vector
  thrust::device_ptr<int> d_ptr(raw_ptr);

  thrust::device_vector<int> vec(d_ptr, d_ptr + n);

  ...
}

使用device_ptr不分配任何存储空间;它只是对类型系统中指针的位置进行编码。

是否有更好，更快的方法使用推力从CPU内存复制到GPU？

1 个答案: