Tensorflow的损失突然变成了纳米

时间:2017-06-12 10:42:49

标签: tensorflow nan loss

当我使用tensorflow时,损失突然变成了nan,就像:

Epoch:  00001 || cost= 0.675003929
Epoch:  00002 || cost= 0.237375346
Epoch:  00003 || cost= 0.204962473
Epoch:  00004 || cost= 0.191322120
Epoch:  00005 || cost= 0.181427178
Epoch:  00006 || cost= 0.172107664
Epoch:  00007 || cost= 0.171604740
Epoch:  00008 || cost= 0.160334495
Epoch:  00009 || cost= 0.151639721
Epoch:  00010 || cost= 0.149983061
Epoch:  00011 || cost= 0.145890004
Epoch:  00012 || cost= 0.141182279
Epoch:  00013 || cost= 0.140914166
Epoch:  00014 || cost= 0.136189088
Epoch:  00015 || cost= 0.133215346
Epoch:  00016 || cost= 0.130046664
Epoch:  00017 || cost= 0.128267926
Epoch:  00018 || cost= 0.125328618
Epoch:  00019 || cost= 0.125053261
Epoch:  00020 || cost= nan
Epoch:  00021 || cost= nan
Epoch:  00022 || cost= nan
Epoch:  00023 || cost= nan
Epoch:  00024 || cost= nan
Epoch:  00025 || cost= nan
Epoch:  00026 || cost= nan
Epoch:  00027 || cost= nan

主要的培训代码是:

for epoch in range(1000):
    Mcost = 0

    temp = []
    for i in range(total_batch):
        batch_X = X[i*batch_size:(i+1)*batch_size]
        batch_Y = Y[i*batch_size:(i+1)*batch_size]
        solver, c, pY = sess.run([train, cost, y_conv], feed_dict={x: batch_X, y_: batch_Y, keep_prob:0.8})
        Mcost = Mcost + c

    print("Epoch: ", '%05d'%(epoch+1), "|| cost=",'{:.9f}'.format(Mcost/total_batch))

由于前19个时期的成本是可以的,我相信网络和输入都可以。对于网络,我使用4 CNN,激活功能是relu,最后一层是完全连接而没有激活功能。

另外,我知道0/0或log(0)将导致nan。但是,我的损失函数是:

c1 = y_conv - y_
c2 = tf.square(c1)
c3 = tf.reduce_sum(c2,1)
c4 = tf.sqrt(c3)
cost = tf.reduce_mean(c4)

我用GPU GTX 1080运行张量流。

任何建议都表示赞赏。

1 个答案:

答案 0 :(得分:3)

通常,由于渐变增加,inf来自优化的差异。它们通常不会立即出现,而是在损失突然增加且在几步之内达到tf.sqrt的阶段之后出现。您没有看到这种爆炸式增长的原因可能是因为您只检查了每个时期的损失 - 尝试每一步或每几步显示您的损失,您可能会看到这种现象。

至于你的渐变突然爆发的原因,我建议你在失去函数时尝试不使用tf.sqrt。这应该在数值上更稳定。 {{1}}具有接近零的爆炸梯度的不良特性。这意味着一旦你接近解决方案,就会增加分歧的风险 - 看起来很像你所观察到的。