具有随机梯度下降（SGD）更新规则的线性回归

Question

据我所知，在SGD，我们更新权重w.r.t.一个训练的例子如：

for i in range(m):
   weights = weights + (alpha * gradient) # for each i in m

我们是否会根据此单次更新或整个运行训练集后计算新的均方误差（我的成本函数）？

Answer 1

基于单个更新。使用单个训练示例估计梯度，然后将其用于更新权重。更新后，您可以计算新的损失函数，以查看优化的效果。