如何温暖启动我的SciPy.Optimize.Minimize函数与先前计算的渐变作为初始猜测

时间:2015-06-27 05:41:19

标签: python scipy neural-network

我正在使用scipy.optimize.minimize方法使用Newton-CG来最小化神经网络成本。成本函数实现反向传播算法。我已经将成本函数并行化,以扩大大量样本的规模。

现在,出于任何原因,如果优化在某些迭代后中断并且未成功完成,我想重新启动该过程而不是从头开始,而是使用在上一步中计算的梯度。

我试图通过1)在成本函数返回之前保存渐变。 2)当我重新启动优化时,使用保存的梯度作为初始猜测。

这种方法不起作用。成本不会从上一次运行中的位置开始。这大约是10次....

我正在尝试查看scipy.optimize.minimize的源代码,以了解initial_guess是如何使用的,但还没有运气。

0 个答案:

没有答案