Question

我有一个基于alexnet的网络，用于年龄分类。当我训练8个班级的网络时，它的工作完全正常，但是当我将课程增加到60或100时，我得到“'模型分歧，损失= NaN” 我已经将学习率降低到0.00000001甚至0.0，并将浴室大小减少到1甚至。但没有帮助。

我的损失功能是：

def loss(logits, labels):
    labels = tf.cast(labels, tf.int32)   #trying to avoig log(0)
    shape = [logits.get_shape()[0], 57]
    epsilon = tf.constant(value=0.1, shape=shape)
    logits = logits + epsilon    



    cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(
       logits= logits,labels= labels, name='cross_entropy_per_example')
    cross_entropy_mean = tf.reduce_mean(cross_entropy, name='cross_entropy',)
    tf.add_to_collection('losses', cross_entropy_mean)
    losses = tf.get_collection('losses')
    regularization_losses = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
    total_loss = cross_entropy_mean + LAMBDA * sum(regularization_losses)
    tf.summary.scalar('tl (raw)', total_loss)
    #total_loss = tf.add_n(losses + regularization_losses, name='total_loss')
    loss_averages = tf.train.ExponentialMovingAverage(0.9, name='avg')
    loss_averages_op = loss_averages.apply(losses + [total_loss])
    for l in losses + [total_loss]:
        tf.summary.scalar(l.op.name + ' (raw)', l)
        tf.summary.scalar(l.op.name, loss_averages.average(l))
    with tf.control_dependencies([loss_averages_op]):
        total_loss = tf.identity(total_loss)
    return total_loss

任何想法如何解决问题？

Answer 1

另一个可能尝试的方法是更改权重的初始化，有时减小幅度可能会有所帮助。您还可以使用add_check_numeric_ops来准确调试NaN的来源，如下例所示： Debugging nans in the backward pass

Answer 2

看起来你正在处理一个不平衡的数据集，而你在批处理中没有类时会添加一个小值，对吧？我没有在你发布的代码中看到任何权重，据我所知，在logits中添加一个小常量对于使用类的权重是有意义的。无论如何假设其余的都是正确的，可能值0.1相对太大并且可能导致不稳定。试试非常小的一个，比如1e-8。此外，您可以添加一个单独的常量，该元素明确地添加到整个logits张量中，如下所示：

epsilon = tf.constant(1e-8)
logits = logits + epsilon

'模型与损失= NaN'不同，即使学习率很小，课程数量也会增加。 [tensorflow]

2 个答案: