Question

假设我有一个简单的示例，其中包含多个变量的功能

@tf.function
def f(A, Y, X):
  AX = tf.matmul(A, X)
  norm = tf.norm(Y - AX)
  return norm

N = 2
A = tf.Variable(np.array([[1, 2], [3, 4]]))
Y = tf.Variable(np.identity(N))
X = tf.Variable(np.zeros((N, N)))

如何找到使用Tensorflow将X最小化的f？我会对一种通用解决方案感兴趣，该解决方案可与上面声明的函数一起使用，并且有多个要优化的变量。

Answer 1

avanwyk本质上是正确的，但请注意：1）为简单起见，您可以直接使用优化器的minimize方法2）如果仅想优化X，则应确保这是您要更新的唯一变量。

import tensorflow as tf

@tf.function
def f(A, Y, X):
  AX = tf.matmul(A, X)
  norm = tf.norm(Y - AX)
  return norm

# Input data
N = 2
A = tf.Variable([[1., 2.], [3., 4.]], tf.float32)
Y = tf.Variable(tf.eye(N, dtype=tf.float32))
X = tf.Variable(tf.zeros((N, N), tf.float32))
# Initial function value
print(f(A, Y, X).numpy())
# 1.4142135

# Setup a stochastic gradient descent optimizer
opt = tf.keras.optimizers.SGD(learning_rate=0.01)
# Define loss function and variables to optimize
loss_fn = lambda: f(A, Y, X)
var_list = [X]
# Optimize for a fixed number of steps
for _ in range(1000):
    opt.minimize(loss_fn, var_list)

# Optimized function value
print(f(A, Y, X).numpy())
# 0.14933111

# Optimized variable
print(X.numpy())
# [[-2.0012102   0.98504114]
#  [ 1.4754106  -0.5111093 ]]

Answer 2

假设Tensorflow 2，您可以使用Keras优化器：

@tf.function
def f(A, Y, X):
    AX = tf.matmul(A, X)
    norm = tf.norm(Y - AX)
    return norm

N = 2
A = tf.Variable(np.array([[1., 2.], [3., 4.]]))
Y = tf.Variable(np.identity(N))
X = tf.Variable(np.zeros((N, N)))

optimizer = tf.keras.optimizers.SGD()
for iteration in range(0, 100):
    with tf.GradientTape() as tape:
        loss = f(X, Y, X)
        print(loss)

    grads = tape.gradient(loss, [A, Y, X])
    optimizer.apply_gradients(zip(grads, [A, Y, X]))

print(A, Y, X)

这将适用于任何微分函数。对于不可微函数，您可以查看其他优化技术（例如遗传算法或Swarm优化。NEAT具有这些https://neat-python.readthedocs.io/en/latest/的实现）。

最小化Tensorflow中的多元函数

2 个答案: