纯粹的Stohastic Gradient Descent缩放异常

Question

我用SGD，batch_size = 1和一个数据传递（epoch）训练线性回归（y = b0 + b1 * x）。当将输入缩放到不合理的值时会收敛（见下文）。缩放到＆＃34;标准＆＃34;值（计算单位方差和输入数据集上的平均值）无论如何改变学习率/迭代，我都无法收敛到任何合理的误差值。 x和y都被划分为scale_并且居中以表示_。

培训数据： x = [1 .. 70] y = [15.39 ... 356.76]

标准缩放： iterations = 500 learning_rate = 0.00003 x.scale_ [20.20519735] x.mean_ [35.5] y.scale_ [100.3283148] y.mean_ [187.43898263]

Abnoraml scaling：iterations = 500 learning_rate = 0.001 x.scale_ [2.5] x.mean_ [2.5] y.scale_ [3.] y.mean_ [3。]

你可以看到学习率是根据比例商调整的，所以这不仅仅是一个学习率问题（我也尝试过不同的数值）。