Question

我正在阅读此代码，但无法弄清楚权重如何按照其逻辑进行更新：

tf.enable_eager_execution()

x = np.arange(0, 5, 0.1)
y = x**3 - 4*x**2 - 2*x + 2
y_noise = y + np.random.normal(0, 1.5, size=(len(x),))

def get_batch(x, y, batch_size=20):
    idxs = np.random.randint(0, len(x), (batch_size))
    return x[idxs], y[idxs]


class PolyModel(object):
    def __init__(self):
        self.w = tfe.Variable(tf.random_normal([4]))

    def f(self, x):
        return self.w[0] * x ** 3 + self.w[1] * x ** 2 + self.w[2] * x + self.w[3]


def loss(model, x, y):
    err = model.f(x) - y
    return tf.reduce_mean(tf.square(err))

model = PolyModel()
grad = tfe.implicit_gradients(loss)
optimizer = tf.train.AdamOptimizer()
iters = 20000
for i in range(iters):
    x_batch, y_batch = get_batch(x, y)
    optimizer.apply_gradients(grad(model, x_batch, y_batch))
    if i % 1000 == 0:
        print("Iteration {}, loss: {}".format(i+1, loss(model, x_batch, y_batch).numpy()))

是因为在这一行中，权重在函数“ apply_gradients”中隐式更新了吗？

 optimizer.apply_gradients(grad(model, x_batch, y_batch))

Answer 1

tfe.implicit_gradients(loss)是一个用于计算loss相对于模型权重的梯度的函数。 optimizer.apply_gradients()应用梯度，即，它根据所用优化器的更新规则来更新权重（例如，更新将在“ Adam”和“ SGD”之间变化）。因此，每次迭代时，模型权重都会更新。

如何在此代码中更新权重？

1 个答案: