NN训练期间梯度的值是什么意思？

Question

渐变下降法的默认值为1e-5。

对于测试集的推广，这是一个非常小的值吗？我应该把它放在什么范围内？

梯度是否表示在训练期间目标与预测类别之间的误差（即使用训练数据）？

Answer 1

如果您不使用正则化，则应检查学习速率的多个值和迭代次数的若干值。您应该在保留集（​​也称为验证集）上执行此操作。如果你正在使用正则化，你不应该这样做，而是尝试几个正则化项的权重值（通常是C或lambda）。

对于值，人们尝试从2 ^ -10到2 ^ -1。如果您的要素值处于合理的数值范围（从-1到1）或从（0到1），它通常也很有用。