Question

我正试图在TensorFlow 2.0中执行最基本的功能最小化，正像问题Tensorflow 2.0: minimize a simple function中一样，但是我无法使此处描述的解决方案起作用。这是我的尝试，多数情况下是复制粘贴的，但是其中添加了一些似乎丢失的地方。

import tensorflow as tf

x = tf.Variable(2, name='x', trainable=True, dtype=tf.float32)
with tf.GradientTape() as t:
    y = tf.math.square(x)

# Is the tape that computes the gradients!
trainable_variables = [x]

#### Option 2
# To use minimize you have to define your loss computation as a funcction
def compute_loss():
    y = tf.math.square(x)
    return y

opt = tf.optimizers.Adam(learning_rate=0.001)
train = opt.minimize(compute_loss, var_list=trainable_variables)

print("x:", x)
print("y:", y)

输出：

x: <tf.Variable 'x:0' shape=() dtype=float32, numpy=1.999>
y: tf.Tensor(4.0, shape=(), dtype=float32)

因此它说最小值为x=1.999，但显然这是错误的。所以发生了什么事？我想它只执行了一个最小化器循环或什么？如果是这样，那么“最小化”似乎是该函数的可怕名称。这应该如何工作？

另一方面，我还需要知道在损失函数中计算的中间变量的值（该示例仅包含y，但想象一下它花了几步来计算y我想要所有这些数字）。我也不认为我正确使用了梯度带，对我来说，这与损耗函数中的计算无关（我只是从另一个问题中复制了这些东西），这对我来说并不明显。

Answer 1

您需要多次致电minimize，因为minimize仅执行优化的一个步骤。

以下应该有效

import tensorflow as tf

x = tf.Variable(2, name='x', trainable=True, dtype=tf.float32)

# Is the tape that computes the gradients!
trainable_variables = [x]

# To use minimize you have to define your loss computation as a funcction
class Model():
    def __init__(self):
        self.y = 0

    def compute_loss(self):
        self.y = tf.math.square(x)
        return self.y

opt = tf.optimizers.Adam(learning_rate=0.01)
model = Model()
for i in range(1000):
    train = opt.minimize(model.compute_loss, var_list=trainable_variables)

print("x:", x)
print("y:", model.y)

TensorFlow 2.0中的基本功能最小化和变量跟踪

1 个答案: