loss / clone_0 / softmax_cross_entropy_loss和loss / clone_0 / aux_loss / value之间的差异

时间:2017-08-24 06:05:20

标签: tensorflow

inception-v4中的loss / clone_0 / softmax_cross_entropy_loss和loss / clone_0 / aux_loss / value之间有什么区别? 目前,我正在使用4个GPU上的tf-slim和inception-v4网络( - num_clones = 4)培训大型模型。但这两个图表完全不同。在批量大小= 128的190K步骤之后,我得到这些图表:Losses

正如你在图像中看到的总损失并有类似的趋势。但softmax_cross_entropy有一个完全不同的程序! 哪一种损失可以更好地描述培训程序?

1 个答案:

答案 0 :(得分:0)

你应该使用第一个主要的。您可以在此处阅读有关辅助头及其损失的信息Does the Inception Model have two softmax outputs?

这个aux_loss在这里定义:https://github.com/tensorflow/models/blob/4bd29ac0ba1004d7393b7d029b05257dffd5cbe6/inception/inception/inception_model.py#L135