Tensorflow:在向训练向量添加示例时线性模型发散

时间:2017-03-02 17:05:17

标签: python machine-learning tensorflow linear-regression

首先,如果我犯了一个愚蠢的错误,请道歉 - 这是我的第一个tensorflow程序之一。为了我的辩护 - 我搜索了这个主题,没有找到任何合理的解释。

代码

代码改编自Getting Started guide。它使用渐变来训练一个简单的线性模型:

import tensorflow as tf

# Define a linear model. The initial values are wrong (W=0.3, b=0.3),
# and should converge to (W=-1, b=1).

# Variables
W = tf.Variable([.3], tf.float32)
b = tf.Variable([.3], tf.float32)
x = tf.placeholder(tf.float32)

# Linear model
linear_model = W * x + b
y = tf.placeholder(tf.float32)

# Loss function and optimizer
square_deltas = tf.square(linear_model - y)
loss = tf.reduce_sum(square_deltas)
init = tf.global_variables_initializer()
optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(loss)

# Tensorflow session
sess = tf.Session()
sess.run(init)

# Train!
for i in range(100):
    sess.run(train, {x:[1,  2,  3,  4,  5,  6],
                     y:[0, -1, -2, -3, -4, -5]})
print(sess.run([W, b]))

结果

当模型训练100次时,结果是:

[array([-0.97550046], dtype=float32), array([ 0.89605999], dtype=float32)]

当模型训练1000次时,结果更接近(-1,1),如预期的那样:

[array([-0.9999997], dtype=float32), array([ 0.99999875], dtype=float32)]

问题

在训练样本中添加另一个示例时:

sess.run(train, {x:[1,  2,  3,  4,  5,  6,  7],
                 y:[0, -1, -2, -3, -4, -5, -6]})

结果发散(分别为100和1000次迭代):

[array([  1.65981654e+28], dtype=float32), array([  3.35185014e+27], dtype=float32)]
[array([ nan], dtype=float32), array([ nan], dtype=float32)]

为什么添加其他示例会使模型失败?

1 个答案:

答案 0 :(得分:0)

通过添加新的单个数据,由于先前数据的大小较短,您的数据数量增加了大约15%!这是一个很大的变化,特别是当您的新数据与当前列车数据中的样本非常不同时。您不能仅通过增加学习迭代来解决问题,因为梯度步骤不能补偿列车数据的波动。只需减少梯度步骤,这将导致对训练数据采用较慢。