为什么辍学的培训损失大于没有辍学？

Question

我在网络中使用dropout。我发现，辍学的训练损失大于没有辍学的训练损失，而辍学的测试损失小于没有辍学的测试损失（如图所示）。这是正常的吗？我怎么解释

Answer 1

Dropout图层删除/删除一些神经元。它对输出有影响（使它们更加通用以防止过度拟合）。辍学的分数将大于没有分数的分数。

PS如果' - '是你的考试成绩：使用更大的辍学率;修改您的架构或检查您的测试集;看看批次 - 学习看起来有点奇怪;关于学习率的工作 - 我认为这很重要。