Question

编辑：添加了功能标题

function backward(l::SoftMax, DLDY::Array{Float64}; kwargs...)
    # credits: https://stats.stackexchange.com/questions/79454/softmax-layer-in-a-neural-network?newreg=d1e89b443dd346ae8bccaf038a944221
    m,n =size(l.x)

    ly = Array{Float64}(n)
    for batch=1:m
      ly = l.y[batch,:]

      for i=1:n
        li = ly[i]
        l.jacobian[:,i] = -li * ly
        l.jacobian[i,i] = li*(1-li)
      end

      # l.jacobian = ly'.*repmat(ly, 1, n)
      # for i=1:n
      #   li = l.y[batch,i]
      #   l.jacobian[i,i] = li*(1.0-li)
      # end

      # # n x 1 = n x n * n x 1
      l.dldx[batch,:] = l.jacobian * DLDY[batch,:]
    end

    return l.dldx

end

以上是我的softmax图层向后功能的代码。这个线程https://stats.stackexchange.com/questions/79454/softmax-layer-in-a-neural-network?newreg=d1e89b443dd346ae8bccaf038a944221中的答案很好地描述了计算softmax导数的方法。在这里，我正在寻找一种更有效的方法来计算导数，因为上面的代码需要0.05~6秒来评估1000乘100，而之前的softmax +交叉熵组合层只需要0.002秒。

因此，我正在寻找一种方法来使代码运行得更快。我不确定我是否使用最有效的方式来计算雅可比矩阵，但我尝试了另一种方法repmat(ly,1,n)然后将其乘以ly。事实证明，由于显然julia的repmat需要太多分配，因此情况更糟。

基本上，我正在寻找一种有效的方法将数组与数组中的每个元素相乘，并将结果连接成方形矩阵。有没有朱莉娅大师对此有所了解？谢谢！

Answer 1

在抱怨可运行的代码（投诉仍然相关）之后，我会尝试更具建设性的评论。替换循环：

 for i=1:n
    li = ly[i]
    l.jacobian[:,i] = -li * ly
    l.jacobian[i,i] = li*(1-li)
 end

使用（无需循环）：

 l.jacobian .= -ly .* ly'
 l.jacobian[diagind(jacobian)] .= ly.*(1.0.-ly)

结果l.jacobian应该相同，效率更高。

至于解释，使用的主要功能包括：broadcast和diagind的点表示法。

提高计算softmax导数的以下代码的性能提示

1 个答案: