如何从R中的方差协方差矩阵得到回归系数？

Question

我想通过矩阵代数计算回归系数，一直计算出一个多元回归的例子。

#create vectors -- these will be our columns
y <- c(3,3,2,4,4,5,2,3,5,3)
x1 <- c(2,2,4,3,4,4,5,3,3,5)
x2 <- c(3,3,4,4,3,3,4,2,4,4)

#create matrix from vectors
M <- cbind(y,x1,x2)
k <- ncol(M) #number of variables
n <- nrow(M) #number of subjects

#create means for each column
M_mean <- matrix(data=1, nrow=n) %*% cbind(mean(y),mean(x1),mean(x2)); M_mean

#creates a difference matrix which gives deviation scores
D <- M - M_mean; D

#creates the covariance matrix, the sum of squares are in the diagonal and the sum of cross products are in the off diagonals.  
C <-  t(D) %*% D; C 

我可以看到最终值应该是什么（-.19，-.01）以及此计算之前的矩阵是什么样的。

E<-matrix(c(10.5,3,3,4.4),nrow=2,ncol=2)
F<-matrix(c(-2,-.6),nrow=2,ncol=1)

但我不确定如何从方差 - 协方差矩阵中创建这些以使用矩阵代数得到系数。

希望你能提供帮助。

Answer 1

我可以看到你正在进行中心回归：

sandipan的回答并不是你想要的，因为它通过通常的常规方程来估算：

后者已有一个主题：Solving normal equation gives different coefficients from using lm?这里我专注于前者。

实际上你已经非常接近了。您已获得混合协方差C：

#      y   x1   x2
#y  10.4 -2.0 -0.6
#x1 -2.0 10.5  3.0
#x2 -0.6  3.0  4.4

根据您对E和F的定义，您知道需要使用子矩阵才能继续。实际上，您可以进行矩阵子集化而不是手动输入：

E <- C[2:3, 2:3]

#     x1  x2
#x1 10.5 3.0
#x2  3.0 4.4

F <- C[2:3, 1, drop = FALSE]  ## note the `drop = FALSE`

#      y
#x1 -2.0
#x2 -0.6

然后估算只是，你可以在R（读?solve）中做到：

c(solve(E, F))  ## use `c` to collapse matrix into a vector
# [1] -0.188172043 -0.008064516

其他建议

• 您可以按colMeans找到列方式，而不是矩阵乘法（读取?colMeans）;
• 您可以使用sweep（阅读?sweep）;
执行居中
• 使用crossprod(D)而不是t(D) %*% D（阅读?crossprod）。

这是我要做的一个会议：

y <- c(3,3,2,4,4,5,2,3,5,3)
x1 <- c(2,2,4,3,4,4,5,3,3,5)
x2 <- c(3,3,4,4,3,3,4,2,4,4)

M <- cbind(y,x1,x2)
M_mean <- colMeans(M)
D <- sweep(M, 2, M_mean)
C <- crossprod(D)

E <- C[2:3, 2:3]
F <- C[2:3, 1, drop = FALSE]
c(solve(E, F))
# [1] -0.188172043 -0.008064516

Answer 2

可能你想要这样的东西：

X <- cbind(1, x1, x2)
C <- t(X) %*% X # No need of centering the columns with means
D <- t(X) %*% y

coef <- t(solve(C) %*% D)
coef
#                      x1           x2
# [1,] 4.086022 -0.188172 -0.008064516

lm(y~x1+x2)$coef # coefficients with R lm()
# (Intercept)           x1           x2 
# 4.086021505 -0.188172043 -0.008064516