Question

我已经完成了这个site。从这里我得到了使用cudamallocHost的固定内存提供了比cudamalloc更好的性能。然后我使用两个不同的简单程序并测试执行时间为

使用cudaMallocHost

#include <stdio.h>
#include <cuda.h>

// Kernel that executes on the CUDA device
__global__ void square_array(float *a, int N)
{
  int idx = blockIdx.x * blockDim.x + threadIdx.x;
  if (idx<N) a[idx] = a[idx] * a[idx];
}

// main routine that executes on the host
int main(void)
{
    clock_t start;
    start=clock();/* Line 8 */
    clock_t finish;
  float *a_h, *a_d;  // Pointer to host & device arrays
  const int N = 100000;  // Number of elements in arrays
  size_t size = N * sizeof(float);
  cudaMallocHost((void **) &a_h, size);
  //a_h = (float *)malloc(size);        // Allocate array on host
  cudaMalloc((void **) &a_d, size);   // Allocate array on device
  // Initialize host array and copy it to CUDA device
  for (int i=0; i<N; i++) a_h[i] = (float)i;
  cudaMemcpy(a_d, a_h, size, cudaMemcpyHostToDevice);
  // Do calculation on device:
  int block_size = 4;
  int n_blocks = N/block_size + (N%block_size == 0 ? 0:1);
  square_array <<< n_blocks, block_size >>> (a_d, N);
  // Retrieve result from device and store it in host array
  cudaMemcpy(a_h, a_d, sizeof(float)*N, cudaMemcpyDeviceToHost);
  // Print results
  for (int i=0; i<N; i++) printf("%d %f\n", i, a_h[i]);
  // Cleanup
  cudaFreeHost(a_h);
  cudaFree(a_d);
  finish = clock() - start;
      double interval = finish / (double)CLOCKS_PER_SEC; 
      printf("%f seconds elapsed", interval);
}

使用Malloc

#include <stdio.h>
#include <cuda.h>

// Kernel that executes on the CUDA device
__global__ void square_array(float *a, int N)
{
  int idx = blockIdx.x * blockDim.x + threadIdx.x;
  if (idx<N) a[idx] = a[idx] * a[idx];
}

// main routine that executes on the host
int main(void)
{
    clock_t start;
    start=clock();/* Line 8 */
    clock_t finish;
  float *a_h, *a_d;  // Pointer to host & device arrays
  const int N = 100000;  // Number of elements in arrays
  size_t size = N * sizeof(float);
  a_h = (float *)malloc(size);        // Allocate array on host
  cudaMalloc((void **) &a_d, size);   // Allocate array on device
  // Initialize host array and copy it to CUDA device
  for (int i=0; i<N; i++) a_h[i] = (float)i;
  cudaMemcpy(a_d, a_h, size, cudaMemcpyHostToDevice);
  // Do calculation on device:
  int block_size = 4;
  int n_blocks = N/block_size + (N%block_size == 0 ? 0:1);
  square_array <<< n_blocks, block_size >>> (a_d, N);
  // Retrieve result from device and store it in host array
  cudaMemcpy(a_h, a_d, sizeof(float)*N, cudaMemcpyDeviceToHost);
  // Print results
  for (int i=0; i<N; i++) printf("%d %f\n", i, a_h[i]);
  // Cleanup
  free(a_h); cudaFree(a_d);
  finish = clock() - start;
      double interval = finish / (double)CLOCKS_PER_SEC; 
      printf("%f seconds elapsed", interval);
}

这里执行两个程序时，执行时间几乎相似。实施中有什么问题吗？在cudamalloc和cudamallochost中执行的确切区别是什么？

以及每次运行时执行时间减少

Answer 1

如果要查看复制操作的执行时间差异，只需复制操作即可。在许多情况下，当基础记忆被固定时，仅复制操作的执行时间差异大约为2倍。并使您的复制操作足够大/足够长，以便您远远超出您正在使用的任何计时机制的粒度。视觉分析器和nvprof等各种profilers可以在这里提供帮助。

引擎盖下的cudaMallocHost操作正在执行malloc以及其他操作系统功能，以“固定”与分配相关联的每个页面。与仅执行malloc相比，这些额外的OS操作需要额外的时间。请注意，随着分配规模的增加，注册（“钉扎”）成本通常也会增加。

因此，对于许多示例而言，只是对整体执行的计时并没有太大的区别，因为虽然cudaMemcpy操作可能比固定内存更快，但cudaMallocHost需要的时间比相应的{malloc长1}}。

那有什么意义呢？

当您从单个缓冲区重复传输时，您可能会对使用固定内存（即cudaMallocHost）感兴趣。您只需支付额外费用即可将其固定一次，但每次转帐/使用都会受益。
需要固定内存才能将数据传输操作（cudaMemcpyAsync）与计算活动（内核调用）重叠。请参阅programming guide。

Answer 2

我也发现只是在一块内存上声明cudaHostAlloc / cudaMallocHost并没有多大作用。可以肯定的是，使用--print-gpu-trace执行nvprof并查看memcpyHtoD或memcpyDtoH的吞吐量是否良好。对于PCI2.0，您应该获得大约6-8gbps。

但是，固定内存是cudaMemcpyAsync的必备条件。在我打电话给cudaMemcpyAsync之后，我在主机之后立即转移了我在主机上的任何计算。通过这种方式你可以＆＃34;层＆＃34;具有主机计算的异步memcpys。

我很惊讶我能用这种方式节省很多时间，值得一试。

cudaMallocHost vs malloc表现更好，没有任何区别

2 个答案: