Softmax函数的导数

时间:2019-02-14 03:51:44

标签: python machine-learning softmax

我正在尝试计算softmax函数的导数。我有一个 2d numpy数组,并且正在沿轴1 计算该数组的softmax。我的python代码也是如此:

def softmax(z):

     return np.exp(z) / np.sum(np.exp(z), axis=1, keepdims=True)

现在我用于计算softmax方程导数的python代码是:

def softmax_derivative(Q):

    x=softmax(Q)
    s=x.reshape(-1,1)
    return (np.diagflat(s) - np.dot(s, s.T))

这是正确的方法吗?

如果我的numpy数组的形状为(3,3),那么softmax导数返回的数组的形状是什么?返回的数组的形状是(9,9)吗?

1 个答案:

答案 0 :(得分:-1)

我会减去z的最大值并做类似的事情:

def softmax(z):
     exps = np.exp(z - z.max())
     return exps/np.sum(exps)

以提高稳定性,但是,否则您所做的是正确的。