我想在R 中计算普通最小二乘（ OLS ）估算而不使用“lm”，这有几个原因。首先，考虑到数据大小在我的情况下是一个问题，“lm”还计算了许多我不需要的东西（例如拟合值）。其次，我希望能够在R中自己实现OLS，然后再使用其他语言（例如，在C中使用GSL）。
如您所知，模型为：Y = Xb + E;用E~N（0，sigma ^ 2）。如下所述，b是具有2个参数的向量，即平均值（b0）和另一个系数（b1）。最后，对于我将要做的每个线性回归，我想要b1（效应大小）的估计，其标准误差，sigma ^ 2的估计（残差方差）和R ^ 2（确定系数）。
以下是数据。我有N个样本（例如个体，N~ = 100）。对于每个样本，我有Y个输出（响应变量，Y~ = 10 ^ 3）和X个点（解释变量，X~ = 10 ^ 6）。我想分开处理Y输出，即。我想推出Y线性回归：一个用于输出1，一个用于输出2，等等。此外，我想一个一个地使用解释变量：对于输出1，我想在第1点回归，然后在第2点回归，然后......终于在X点了。（我希望很清楚......！）
这是我的 R代码，用于检查“lm”的速度与通过矩阵代数计算OLS估算值。
首先，我模拟虚拟数据：
nb.samples <- 10 # N
nb.points <- 1000 # X
x <- matrix(data=replicate(nb.samples,sample(x=0:2,size=nb.points, replace=T)),
nrow=nb.points, ncol=nb.samples, byrow=F,
dimnames=list(points=paste("p",seq(1,nb.points),sep=""),
samples=paste("s",seq(1,nb.samples),sep="")))
nb.outputs <- 10 # Y
y <- matrix(data=replicate(nb.outputs,rnorm(nb.samples)),
nrow=nb.samples, ncol=nb.outputs, byrow=T,
dimnames=list(samples=paste("s",seq(1,nb.samples),sep=""),
outputs=paste("out",seq(1,nb.outputs),sep="")))
以下是我自己使用的函数：
GetResFromCustomLinReg <- function(Y, xi){ # both Y and xi are N-dim vectors
n <- length(Y)
X <- cbind(rep(1,n), xi) #
p <- 1 # nb of explanatory variables, besides the mean
r <- p + 1 # rank of X: nb of indepdt explanatory variables
inv.XtX <- solve(t(X) %*% X)
beta.hat <- inv.XtX %*% t(X) %*% Y
Y.hat <- X %*% beta.hat
E.hat <- Y - Y.hat
E2.hat <- (t(E.hat) %*% E.hat)
sigma2.hat <- (E2.hat / (n - r))[1,1]
var.covar.beta.hat <- sigma2.hat * inv.XtX
se.beta.hat <- t(t(sqrt(diag(var.covar.beta.hat))))
Y.bar <- mean(Y)
R2 <- 1 - (E2.hat) / (t(Y-Y.bar) %*% (Y-Y.bar))
return(c(beta.hat[2], se.beta.hat[2], sigma2.hat, R2))
}
这是我使用内置“lm”的代码：
res.bi.all <- apply(x, 1, function(xi){lm(y ~ xi)})
这是我的自定义OLS代码：
res.cm.all <- apply(x, 1, function(xi){apply(y, 2, GetResFromCustomLinReg, xi)})
当我使用上面给出的值运行此示例时，我得到：
> system.time( res.bi.all <- apply(x, 1, function(xi){lm(y ~ xi)}) )
user system elapsed
2.526 0.000 2.528
> system.time( res.cm.all <- apply(x, 1, function(xi){apply(y, 2, GetResFromCustomLinReg, xi)}) )
user system elapsed
4.561 0.000 4.561
（当然，增加N，X和Y时会变得更糟。）
当然，“lm”具有“自动”分别拟合响应矩阵（y~xi）的每一列的良好属性，而我必须使用“应用”Y次（对于每个yi~xi）。但这是我的代码更慢的唯一原因吗？你们其中一个人知道如何改善这个吗？
（很抱歉这么长的问题，但我真的试图提供一个最小但又全面的例子。）
> sessionInfo()
R version 2.12.2 (2011-02-25)
Platform: x86_64-redhat-linux-gnu (64-bit)
答案 0 :(得分：7)
查看CRAN上RcppArmadillo包中的fastLm()函数。在RcppGSL之前还有类似的fastLm() - 但您可能需要基于Armadillo的解决方案。我在旧的演示文稿中有一些幻灯片（在带有R的HPC上），显示速度增加。
另请注意帮助页面中有关更好＆＃39;旋转＆＃39;的提示。接近X＆＃39; X的直线倒数，这可能与简并模型矩阵有关。
答案 1 :(得分：4)
根据Marek的评论，下面是比较内置函数“lm”和“lm.fit”，我自己的函数，“fastLm”和“fastLmPure”来自RcppArmadillo软件包的结果：
> system.time( res1 <- apply(x, 1, function(xi){lm(y ~ xi)}) )
user system elapsed
2.859 0.005 2.865
> system.time( res2 <- apply(x, 1, function(xi){apply(y, 2, GetResFromCustomLinReg, xi)}) )
user system elapsed
4.620 0.004 4.626
> system.time( res3 <- apply(x, 1, function(xi){lm.fit(x=cbind(1,xi), y=y)}) )
user system elapsed
0.454 0.004 0.458
> system.time( res4 <- apply(x, 1, function(xi){apply(y, 2, fastLm, x=cbind(1,xi))}) )
user system elapsed
2.279 0.005 2.283
> system.time( res5 <- apply(x, 1, function(xi){apply(y, 2, fastLmPure, cbind(1,xi))}) )
user system elapsed
1.053 0.003 1.056
但是，比较这些数字时要小心。差异不仅归因于不同的实现，还归因于有效计算结果：
> names(res1$p1)
[1] "coefficients" "residuals" "effects" "rank"
[5] "fitted.values" "assign" "qr" "df.residual"
[9] "xlevels" "call" "terms" "model"
> # res2 (from my own custom function) returns the estimate of beta, its standard error, the estimate of sigma and the R^2
> names(res3$p1)
[1] "coefficients" "residuals" "effects" "rank"
[5] "fitted.values" "assign" "qr" "df.residual"
> names(res4$p1$out1)
[1] "coefficients" "stderr" "df" "fitted.values"
[5] "residuals" "call"
> names(res5$p1$out1)
[1] "coefficients" "stderr" "df"
例如，我们可能更喜欢使用“lm.fit”而不是“lm”，但如果我们需要R ^ 2，我们将不得不自己计算它。同上，我们可能想要使用“fastLm”而不是“lm”，但如果我们想要sigma的估计，我们将不得不自己计算它。使用自定义R函数计算这些东西可能效率不高（与“lm”所做的相比）。
鉴于这一切，我暂时会继续使用“lm”，但Dirk关于“fastLm”的评论确实是好建议（这就是为什么我选择了他的答案，因为它应该引起其他人的兴趣）