Question

我正在尝试实现一个渐变下降算法，这个算法之前用python编写的matlab中有numpy，但是我得到了一组相似但不同的结果。

这是matlab代码

function [theta] = gradientDescentMulti(X, y, theta, alpha, num_iters)

m = length(y);
num_features = size(X,2);
for iter = 1:num_iters;
    temp_theta = theta;
    for i = 1:num_features
        temp_theta(i) = theta(i)-((alpha/m)*(X * theta - y)'*X(:,i));
    end
    theta = temp_theta;
end


end

和我的python版本

def gradient_descent(X,y, alpha, trials):

    m = X.shape[0]
    n = X.shape[1]
    theta = np.zeros((n, 1))

    for i in range(trials):

        temp_theta = theta
        for p in range(n):
            thetaX = np.dot(X, theta)
            tMinY = thetaX-y
            temp_theta[p] = temp_theta[p]-(alpha/m)*np.dot(tMinY.T, X[:,p:p+1])

        theta = temp_theta

    return theta

测试用例和matlab结果

X = [1 2 1 3; 1 7 1 9; 1 1 8 1; 1 3 7 4]
y = [2 ; 5 ; 5 ; 6];
[theta] = gradientDescentMulti(X, y, zeros(4,1), 0.01, 1);

theta =

    0.0450
    0.1550
    0.2225
    0.2000

测试用例和结果在python中

test_X = np.array([[1,2,1,3],[1,7,1,9],[1,1,8,1],[1,3,7,4]])
test_y = np.array([[2], [5], [5], [6]])
theta, cost = gradient_descent(test_X, test_y, 0.01, 1)
print theta
>>[[ 0.045     ]
  [ 0.1535375 ]
  [ 0.20600144]
  [ 0.14189214]]

Answer 1

Python中的这一行：

    temp_theta = theta

没有做你认为的事情。它没有制作theta和＆＃34;分配＆＃34;的副本。它到＆＃34;变量＆＃34; temp_theta - 它只是说＆＃34; temp_theta现在是theta＆＃34;当前命名的对象的新名称。

所以当你在这里修改temp_theta时：

        temp_theta[p] = temp_theta[p]-(alpha/m)*np.dot(tMinY.T, X[:,p:p+1])

您实际上正在修改theta - 因为只有一个数组，现在有两个名称。

如果你改为写

    temp_theta = theta.copy()

你会得到像

这样的东西

(3.5) dsm@notebook:~/coding$ python peter.py
[[ 0.045 ]
 [ 0.155 ]
 [ 0.2225]
 [ 0.2   ]]

匹配您的Matlab结果。

在numpy vs matlab中有不同的结果

1 个答案: