张量流中的正则化损失是什么？

Question

使用Tensorflows对象检测API训练对象检测DNN时，可视化Plattform Tensorboard会绘制一个名为regularization_loss_1的标量

这是什么？我知道正规化是什么（使网络很好地通过各种方法如辍学来概括）但我不清楚这显示出的损失是什么。

谢谢！

Answer 1

TL; DR ：它只是正则化函数产生的额外损失。将其添加到网络的损失中，并优化两者的总和。

正如您所说，正则化方法用于帮助优化方法更好地概括。 获得此功能的一种方法是在损失函数中添加正则化项。这个术语是一个通用函数，它修改了＆＃34;全局＆＃34;损失（如网络丢失的总和和正则化损失），以便在所需方向上驱动优化算法。

让我们说，例如，无论出于何种原因，我想鼓励优化的解决方案，其权重尽可能接近于零。因此，一种方法是增加网络产生的损失，网络权重的函数（例如，权重的所有绝对值的按比例缩小的总和）。由于优化算法最小化了全局损失，我的正则化项（当权重远离零时为高）将推动优化趋向于权重接近于零的解决方案。