Question

我试图评估标量函数f（x），其中x是k维向量（即f：R ^ k-> R）。在评估期间，我必须执行许多矩阵运算：反演，乘法和查找中等大小矩阵的矩阵行列式和跟踪（大多数小于30x30）。现在我想通过在GPU上使用不同的线程来同时评估许多不同x的函数。这就是我需要设备api的原因。

我编写了以下代码来测试由cublas设备API cublasSgetrfBatched计算矩阵行列式，其中我首先找到矩阵的LU分解并计算U矩阵中所有对角元素的乘积。我使用cublas返回的结果在GPU线程和CPU上完成了这个。但是，当CPU上的结果是正确的时，GPU的结果没有任何意义。我使用过cuda-memcheck，但没有发现任何错误。有人可以帮助解决这个问题吗？非常感谢。

    cat test2.cu

#include <stdio.h>
#include <stdlib.h>
#include <math.h>
#include <cuda_runtime.h>
#include <cublas_v2.h>


__host__ __device__ unsigned int IDX(unsigned int i,unsigned  int j,unsigned int ld){return j*ld+i;}

#define PERR(call) \
  if (call) {\
   fprintf(stderr, "%s:%d Error [%s] on "#call"\n", __FILE__, __LINE__,\
      cudaGetErrorString(cudaGetLastError()));\
   exit(1);\
  }
#define ERRCHECK \
  if (cudaPeekAtLastError()) { \
    fprintf(stderr, "%s:%d Error [%s]\n", __FILE__, __LINE__,\
       cudaGetErrorString(cudaGetLastError()));\
    exit(1);\
  }

__device__ float
det_kernel(float *a_copy,unsigned int *n,cublasHandle_t *hdl){
  int *info = (int *)malloc(sizeof(int));info[0]=0;
  int batch=1;int *p = (int *)malloc(*n*sizeof(int));  
  float **a = (float **)malloc(sizeof(float *));
  *a = a_copy;  
  cublasStatus_t status=cublasSgetrfBatched(*hdl, *n, a, *n, p, info, batch);  
  unsigned int i1;
  float res=1;
  for(i1=0;i1<(*n);++i1)res*=a_copy[IDX(i1,i1,*n)];
  return res;
}

__global__ void runtest(float *a_i,unsigned int n){
  cublasHandle_t hdl;cublasCreate_v2(&hdl);
  printf("det on GPU:%f\n",det_kernel(a_i,&n,&hdl));  
  cublasDestroy_v2(hdl);
}

int
main(int argc, char **argv)
{
  float a[] = {
    1,   2,   3,
    0,   4,   5,
    1,   0,   0};
  cudaSetDevice(1);//GTX780Ti on my machine,0 for GTX1080
  unsigned int n=3,nn=n*n;
  printf("a is \n");
  for (int i = 0; i < n; ++i){    
    for (int j = 0; j < n; j++) printf("%f, ",a[IDX(i,j,n)]);    
    printf("\n");}
  float *a_d;
  PERR(cudaMalloc((void **)&a_d, nn*sizeof(float)));
  PERR(cudaMemcpy(a_d, a, nn*sizeof(float), cudaMemcpyHostToDevice));
  runtest<<<1, 1>>>(a_d,n);
  cudaDeviceSynchronize();
  ERRCHECK;

  PERR(cudaMemcpy(a, a_d, nn*sizeof(float), cudaMemcpyDeviceToHost));
  float res=1;
  for (int i = 0; i < n; ++i)res*=a[IDX(i,i,n)];
  printf("det on CPU:%f\n",res);
}

  nvcc -arch=sm_35 -rdc=true -o test test2.cu -lcublas_device -lcudadevrt
./test
a is 
1.000000, 0.000000, 1.000000, 
2.000000, 4.000000, 0.000000, 
3.000000, 5.000000, 0.000000, 
det on GPU:0.000000
det on CPU:-2.000000

Answer 1

cublas设备调用是异步。

这意味着它们会在cublas调用完成之前将控制权返回给调用线程。

如果您希望调用线程能够直接处理结果（就像您在此处计算res一样），则必须在开始计算之前强制同步等待结果。

在主机端计算中你没有看到这一点，因为在父内核终止之前，任何设备活动（包括cublas设备动态并行）都会隐式同步。

因此，如果您在设备cublas调用后添加同步添加，请执行以下操作：

cublasStatus_t status=cublasSgetrfBatched(*hdl, *n, a, *n, p, info, batch); 
cudaDeviceSynchronize(); // add this line

我认为您会看到设备计算与主机计算之间的匹配，正如您所期望的那样。

使用cublas设备API计算矩阵行列式

1 个答案: