Question

如果我有一个代码将struct变量作为输入并操纵它的元素，我如何使用CUDA并行化它？

void BackpropagateLayer(NET* Net, LAYER* Upper, LAYER* Lower)
{
  INT  i,j;
  REAL Out, Err;

  for (i=1; i<=Lower->Units; i++) {
    Out = Lower->Output[i];
    Err = 0;
    for (j=1; j<=Upper->Units; j++) {
      Err += Upper->Weight[j][i] * Upper->Error[j];
    }
    Lower->Error[i] = Net->Gain * Out * (1-Out) * Err;
  }
}
Where NET and LAYER are structs defined as:
typedef struct {                     /* A LAYER OF A NET:                     */
        INT           Units;         /* - number of units in this layer       */
        REAL*         Output;        /* - output of ith unit                  */
        REAL*         Error;         /* - error term of ith unit              */
        REAL**        Weight;        /* - connection weights to ith unit      */
        REAL**        WeightSave;    /* - saved weights for stopped training  */
        REAL**        dWeight;       /* - last weight deltas for momentum     */
} LAYER;
typedef struct {                     /* A NET:                                */
        LAYER**       Layer;         /* - layers of this net                  */
        LAYER*        InputLayer;    /* - input layer                         */
        LAYER*        OutputLayer;   /* - output layer                        */
        REAL          Alpha;         /* - momentum factor                     */
        REAL          Eta;           /* - learning rate                       */
        REAL          Gain;          /* - gain of sigmoid function            */
        REAL          Error;         /* - total net error                     */
} NET;

我能想到的是首先将2d Weight转换为1d。然后将其发送到内核以获取产品或只使用CUBLAS库。有什么建议吗？

Answer 1

如果您正在实现自己的神经网络库，那么对于简单的情况（具有完全连接或稀疏层的网络），我强烈建议使用CUBLAS / CUSPARSE。在这种情况下，可以使用对这些库的调用来优雅地表达所有3个基本线性操作：

前馈：gemv（gemm，小型批量大小> 1）
返回道具：带有适当转置标志的gemv（gemm，小型批量大小> 1）。
重量更新：ger（gem，如果小批量大小> 1）。

可以使用3个基本操作（或单独的内核以获得更好的性能）来表示动量。当你超越基本的东西并开始添加诸如卷积层之类的东西时，事情会变得更加有趣。在神经网络中，你有大量的超参数，所以我建议你看一些关于如何设计你的库的现有实现（比如convnet）。

使用带有指向使用CUDA的指针类型元素的指针的struct的并行化代码

1 个答案: