Question

我正在使用tf scipy interface，使用scipy minimize而不是我在tensorflow中定义的自定义函数。我需要调试它，我想使用回调函数来打印一些信息。但是，尽管迭代/函数评估/梯度评估的数量多于一个，但回调函数仅被调用一次。为什么？我只使用scipy（没有tensorflow）来解决同样的问题。

这是一个带有Rosenbrock函数的MWE（它应该说最小化器执行23次迭代，53次函数评估，23次梯度评估，但CALLBACK!只打印两次，一次打印step_callback一次loss_callback）。

import tensorflow as tf
import numpy as np

class Solver:
    def __init__(self, session, y, x):
        self.session = session
        self.y = y
        self.x = x
        self.optimizer = tf.contrib.opt.ScipyOptimizerInterface(self.y,
                                              options={'maxiter': 100, 'disp': True},
                                              method='SLSQP',
                                              var_list=[self.x],
                                              var_to_bounds={self.x: (1e-8, np.infty)})

    def optimize(self):
      self.optimizer.minimize(self.session, step_callback=self.callback(), loss_callback=self.callback())

    def callback(self):
        print('CALLBACK!')


def main():
    seed = 0
    np.random.seed(seed)
    tf.set_random_seed(seed)
    session = tf.Session()

    x_size = 10
    x = tf.Variable(np.random.rand(x_size), dtype=tf.float32)
    y = 0.
    for i in range(x_size-1):
        y += 100. * (x[i+1] - x[i]*x[i])**2 + (x[i] - 1)**2

    solver = Solver(session, y, x)

    session.run(tf.global_variables_initializer())

    solver.optimize()


if __name__ == '__main__':
    main()

Answer 1

（添加到我上面的评论中）

根据docs：

step_callback：在每个优化步骤中调用的函数; arguments是将所有优化变量的当前值展平为单个向量。

loss_callback：每次计算损失和梯度时要调用的函数，并将计算的提取作为位置参数提供。

你必须传递一个功能。

一个简单的示例，显示您的案例中的问题，未传递函数;但是对函数的评估将是以下内容。

请记住，我只会显示一些纯粹的scipy-example而不是-argument self，而是传递一个向量（这是回调中的常见情况）。它看起来不一样，但它转移到你的情况！

代码：

import numpy as np
from scipy.optimize import minimize, rosen

def callback(xs):
    print('callback')

x0 = np.zeros(5)

print('Wrong passing')
res = minimize(rosen, np.zeros(5), callback=callback(x0))  # need some arg x0 to make it run
                                                           # in your case this is "self"
print('Correct passing')
res = minimize(rosen, np.zeros(5), callback=callback)

输出：

Wrong passing
callback
alpha1:  1.0
Correct passing
callback
callback
callback
callback
...
...
alpha1:  1.0

在您的情况下，您还可以再进行一次调试实验，以显示问题。引入两个不同的回调，一个用于step_callback，另一个用于loss_callback。您将看到每个只调用一次（在实际开始优化之前的单次评估时间！）。

Scipy回调只调用一次

1 个答案: