我正在使用scipy.optimize.minimize
方法使用Newton-CG
来最小化神经网络成本。成本函数实现反向传播算法。我已经将成本函数并行化,以扩大大量样本的规模。
现在,出于任何原因,如果优化在某些迭代后中断并且未成功完成,我想重新启动该过程而不是从头开始,而是使用在上一步中计算的梯度。
我试图通过1)在成本函数返回之前保存渐变。 2)当我重新启动优化时,使用保存的梯度作为初始猜测。
这种方法不起作用。成本不会从上一次运行中的位置开始。这大约是10次....
我正在尝试查看scipy.optimize.minimize
的源代码,以了解initial_guess是如何使用的,但还没有运气。