Question

我想知道以下MATLAB / Octave代码是否可以进行矢量化？

function grads = compute_grads(data, ann, lambda)
    [~, N] = size(data.X);
    % First propagate the data
    S = evaluate(data.X, ann);
    G = -(data.Y - S{2});

    % Second layer gradient is easy.
    l2g.W = G*S{1}';
    l2g.b = mean(G)';
    G = G' * ann{2}.W;

    [m, d] = size(ann{1}.W);
    [K, ~] = size(ann{2}.W);

    % I would like to vectorize this calculation.
    l1g.W = zeros(m, d);
    l1g.b = mean(G)';
    for i = 1:N
        x = data.X(:, i);
        g = G(i, :);
        l1 = S{1}(:, i);
        g = g * diag(l1 > 0);
        l1g.W = l1g.W + g'*x';
    end
    grads = {l1g, l2g};
    for k=1:length(grads)
        grads{k}.W = grads{k}.W/N + 2*lambda*ann{k}.W;
    end
end

代码计算双层神经网络的梯度。第二层具有softmax激活函数，如第4行G = -(data.Y - S{2});所示。第一层具有由for - 循环中的gunk实现的ReLU激活，该循环一次对每个样本进行操作。

如您所见，中间有一个明确的for - 循环。是否可以使用任何数组/矩阵函数来使循环隐式？

Answer 1

循环可以简化为：

l1g.W = (data.X * (G .* (S{1} > 0).')).';

说明：

在矢量化中，我们应该避免不必要的操作。例如在

中

g = g * diag(l1 > 0);;

我们可以使用element-wize乘法来实现同样的目标：

g = g .* (l1.' > 0);
%or
g = g .* (l1 > 0).';

使用它我们可以在循环之外放置一些操作：

l1g.W = zeros(m, d);

G = G .* (S{1} > 0).';

for i = 1:N
    x = data.X(:, i);
    g = G(i, :);
    l1g.W = l1g.W + g'*x';
end

所以我们有这样的事情：

W=0;
for i = 1:N
    W = W + something(i);
end

可以写成：

W = sum(something);

我们的循环可以简化为：

l1g.W = sum(some_structrue_created_by_vectorizing(g'*x'));

我们可以使用诸如bsxfun之类的函数来创建这样的结构（即3D矩阵），但是这种结构通常需要大量的存储器，并且循环可能比矢量化更有效。但是等一下我们想要对g和x的产品求和，这样我们就可以[并且应该总是]考虑使用向量矩阵或矩阵 - 矩阵乘法，因为它们是非常快的操作。我们正在执行g和x的外积，因此矩阵矩阵乘法是正确的选择。

G = G .* (S{1} > 0).';
l1g.W  = (data.X * G).'

或

l1g.W = (data.X * (G .* (S{1} > 0).')).';

计算两层神经网络的梯度

1 个答案: