使用批量梯度下降的错误权重

Question

我正在使用二维数据进行线性回归，但我无法获得回归线的正确权重。 以下代码似乎存在问题，因为 回归线的计算权重不正确。 对于x，使用太大的数据值（大约80000）会导致权重的NaN。将数据从0缩放到1会导致权重错误，因为 回归线与数据不匹配。

function [w, epoch_batch, error_batch] = batch_gradient_descent(x, y)

% number of examples
q = size(x,1);

% learning rate
alpha = 1e-10;

w0 = rand(1);
w1 = rand(1);

curr_error = inf;
eps = 1e-7;

epochs = 1e100;
epoch_batch = 1;
error_batch = inf;
for epoch = 1:epochs
    prev_error = curr_error;
    curr_error = sum((y - (w1.*x + w0)).^2);
    w0 = w0 + alpha/q * sum(y - (w1.*x + w0));
    w1 = w1 + alpha/q * sum((y - (w1.*x + w0)).*x);
    if ((abs(prev_error - curr_error) < eps))
        epoch_batch = epoch;
        error_batch = abs(prev_error - curr_error);
        break;
    end
end

w = [w0, w1];

你能否告诉我在哪里犯了错误，因为对我来说，经过几个小时的努力似乎是正确的。

数据：

x
   35680
   42514
   15162
   35298
   29800
   40255
   74532
   37464
   31030
   24843
   36172
   39552
   72545
   75352
   18031

y
    2217
    2761
     990
    2274
    1865
    2606
    4805
    2396
    1993
    1627
    2375
    2560
    4597
    4871
    1119

以下是绘制数据的代码：

figure(1)
% plot data points
plot(x, y, 'ro');
hold on;
xlabel('x value');
ylabel('y value');
grid on;

% x vector from min to max data point
x = min(x):max(x);
% calculate y with weights from batch gradient descent
y = (w(1) + w(2)*x);
% plot the regression line
plot(x,y,'r');

可以使用较小的学习率alpha = 1e-10找到未缩放数据集的权重。 但是，当将数据从0缩放到1时，我仍然有麻烦来获得匹配的权重。

scaled_x =

0.4735
0.5642
0.2012
0.4684
0.3955
0.5342
0.9891
0.4972
0.4118
0.3297
0.4800
0.5249
0.9627
1.0000
0.2393

scaled_y_en =

0.0294
0.0366
0.0131
0.0302
0.0248
0.0346
0.0638
0.0318
0.0264
0.0216
0.0315
0.0340
0.0610
0.0646
0.0149

Answer 1

问题在于third tab，因为你给它的重量太大了。您不应该为w1和w0提供相同的学习步骤，因为不会乘以w1。

如果我将x替换为alpha/q（因为随机选择），那么它会收敛：