在神经网络中计算成本函数粗体的最有效方法

时间:2015-08-14 15:11:28

标签: algorithm neural-network backpropagation levenberg-marquardt hessian-matrix

我正在编写MLP网络,我想实现levenberg-marquardt算法。使用levenberg-marquardt,权重'每次迭代后更新由此公式给出:

W(t+1) = W(t) - (H(t)+ l(t)*I)^-1 * J

// W(t) is the matrix of weight at instant t
// H(t) is the `hessian` of the cost function
// l(t) is a learning rate
// J is the gradient of the cost function.

但是我无法找到一种算法来计算{或者有一个可接受的估计值} hessian。我怎么能这样做?

0 个答案:

没有答案