Question

我正在学习如何使用优化器在Tensor Flow中训练模型。因此，我构建了一个线性模型，创建了一个玩具数据集，并使用AdamOptimizer和GradientDescentOptimizer训练了线性模型。

这是我的代码：

# Training a linear model with Adam optimizer

import tensorflow as tf
import numpy as np

# Training dataset
Xs_ = np.random.random(48).reshape(12, 4)
Yt_ = np.random.random(12).reshape(12, 1)

Xs2_ = np.array([1,  2,  3,  4, 
                 5,  6,  7,  8,
                 9,  10, 11, 12,
                 13, 14, 15, 16]).reshape(4, 4)
Yt2_ = np.array([1, 2, 3, 4]).reshape(4, 1)

# inference
Xs = tf.placeholder(shape=(None, 4), dtype=tf.float32)
W = tf.Variable(np.zeros((4,1), dtype=np.float32))
b = tf.Variable(np.ones((1, 1), dtype=np.float32))
Ys = tf.add(tf.matmul(Xs, W), b)

Yt = tf.placeholder(shape=(None, 1), dtype=tf.float32)

# loss
loss = tf.reduce_mean(tf.squared_difference(Yt, Ys))

# training
optimizer = tf.train.AdamOptimizer(learning_rate=1e-4, beta1=0.99, epsilon=0.1)
optimizer2 = tf.train.GradientDescentOptimizer(learning_rate=0.01)
train = optimizer.minimize(loss)
train2 = optimizer2.minimize(loss)


# Executing the graph with Adam Optimizer
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())

    feed_dict = {Yt: Yt2_, Xs: Xs2_}
    sess.run(train, feed_dict)

    print "Adam trained vars (W, b)", sess.run([W, b], feed_dict)

# Executing the graph with Gradient Descent Optimizer
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())

    feed_dict = {Yt: Yt2_, Xs: Xs2_}
    sess.run(train2, feed_dict)

    print "GD trained vars (W, b)", sess.run([W, b], feed_dict)

这是我看到的输出：

Adam trained vars (W, b) [array([[  9.07433059e-05],
       [  9.14905831e-05],
       [  9.21262108e-05],
       [  9.26734720e-05]], dtype=float32), array([[ 1.00004864]], dtype=float32)]
GD trained vars (W, b) [array([[ 0.31      ],
       [ 0.34      ],
       [ 0.37      ],
       [ 0.39999998]], dtype=float32), array([[ 1.02999997]], dtype=float32)]

我尝试了不同的学习率，测试版和epsilons;但不知何故，AdamOptimizer没有更新变量（W和b）。

我还看到一些人分别计算渐变然后将它们应用于变量，而不是直接使用AdamOptimizer().minimize(_loss_function_)。

我是TensorFlow的新手，我不确定我是否遗漏了一些东西。请提供一些见解。谢谢！

Answer 1

在这两种情况下，您只执行一个渐变下降步骤。默认情况下，亚当有很大的动力（惯性），所以需要一段时间才能加速。另一方面，新元即时加速，因为它没有动力。执行更多迭代，您将看到W的值相应增加。

Answer 2

从输出中，更新变量。您使用零和W初始化b，并清楚地看到它们已更改。我不确定你为什么认为他们没有改变。也许你认为变化太小了？您的学习率也较小（这种情况并不常见 - 通常您可以使用比SGD更高的学习率）。尽管如此，看看亚当的公式 - 它使用渐变和平方梯度的动量，初始化为零。因此，更快/更大的更新需要几个步骤。无论如何，你的代码看起来是正确的。

为什么Adam Optimizer不工作？

2 个答案: