Question

我正在使用lm（）进行多元线性回归模型，Y是响应变量（例如：兴趣回报），其他是解释变量（100多个案例，30多个变量）。

有些变量被认为是关键变量（关于投资），当我运行lm（）函数时，R返回一个adj.r.square为97％的模型。但是一些关键变量并不是重要的预测因素。

有没有办法通过保留模型中的所有关键变量（作为重要的预测变量）来进行回归？调整的R平方减少无关紧要。

如果回归不起作用，还有其他方法吗？

谢谢你！

==========================

上传数据集 https://www.dropbox.com/s/gh61obgn2jr043y/df.csv

==========================

其他问题：如果某些变量对前一时期到当前时期有影响怎么办？例如：一个人在他/她吃早餐时服用避孕药，午餐后药片的效果可能会持续（并且他/她在午餐时服用第二颗药丸）我想我需要考虑数据转换。 *我的第一选择是加上结转率：obs.2_trans = obs.2 + c-o rate * obs.1 *也许我还需要考虑药丸效应本身的衰减，因此还需要 s-curve 或指数转换。

以变量main1为例，我可以使用试用方法从0.5开始获得理想的co rate和s-curve参数，并逐步测试0.05，最多1或者减少到0，直到我得到最高模型得分 - 比如说，最低AIC或最高R平方。这已经是一个需要测试的巨大数量。如果我需要在同一时间测试3个以上的变量，我怎么能通过R来管理它？

谢谢！

Answer 1

首先，关于“意义”的说明。对于模型中包含的每个变量，线性建模包报告此变量的系数与零不同的可能性（实际上，它们报告p=1-L）。我们说，如果L更大（更小的p），那么系数“更重要”。因此，虽然谈论一个变量“比另一个变量更重要”是非常合理的，但是没有绝对标准来断言“重大”与“不重要”。在大多数科学研究中，截止值为L>0.95（p<0.05）。但这完全是武断的，有很多例外。回想一下，欧洲核子研究中心不愿意断言希格斯玻色子的存在，直到他们收集到足够的数据来证明其对6-sigma的影响。这大致相当于p <1。 1×10 ^-9。在另一个极端，许多社会科学研究表明在p＆lt; 0.2（因为固有的可变性较高，通常样品数量较少）。因此从模型中排除变量因为它“不重要”实际上没有意义。另一方面，您将很难包含具有高p的变量，同时排除具有较低p的另一个变量。

其次，如果您的变量高度相关（它们在您的情况下），那么从模型中删除一个变量会极大地改变所有p值是很常见的。具有高p值（不太重要）的保留变量可能突然具有低p值（更显着），这只是因为您从模型中移除了完全不同的变量。因此，尝试手动优化拟合通常是一个坏主意。

幸运的是，有很多算法可以帮到你。一种流行的方法从具有所有变量的模型开始。在每个步骤中，移除最不重要的变量，并将得到的模型与前一步骤的模型进行比较。如果删除此变量会严重降低模型，则会根据某个指标停止该过程。常用的指标是Akaike information criterion（AIC），在R中，我们可以使用stepAIC(...)包中的MASS根据AIC标准优化模型。

第三，回归模型的有效性取决于某些假设，尤其是这两个假设：误差方差是常数（不依赖于y），误差分布近似正常。如果不满足这些假设， p值完全没有意义!! 一旦我们拟合了模型，我们就可以使用残差图和Q-Q图检查这些假设。 您必须为任何候选模型执行此操作！

最后，异常值的存在经常使模型显着扭曲（几乎按照定义！）。如果您的变量高度相关，则此问题会被放大。所以在你的情况下，寻找异常值非常重要，看看你删除它们会发生什么。

下面的代码全部展开。

library(MASS)
url <- "https://dl.dropboxusercontent.com/s/gh61obgn2jr043y/df.csv?dl=1&token_hash=AAGy0mFtfBEnXwRctgPHsLIaqk5temyrVx_Kd97cjZjf8w&expiry=1399567161"
df <- read.csv(url)
initial.fit <- lm(Y~.,df[,2:ncol(df)]) # fit with all variables (excluding PeriodID)
final.fit   <- stepAIC(initial.fit)    # best fit based on AIC
par(mfrow=c(2,2))
plot(initial.fit)                      # diagnostic plots for base model
plot(final.fit)                        # same for best model
summary(final.fit)
# ...
# Coefficients:
#              Estimate Std. Error t value Pr(>|t|)    
# (Intercept)  11.38360   18.25028   0.624  0.53452    
# Main1       911.38514  125.97018   7.235 2.24e-10 ***
# Main3         0.04424    0.02858   1.548  0.12547    
# Main5         4.99797    1.94408   2.571  0.01195 *  
# Main6         0.24500    0.10882   2.251  0.02703 *  
# Sec1        150.21703   34.02206   4.415 3.05e-05 ***
# Third2       -0.11775    0.01700  -6.926 8.92e-10 ***
# Third3       -0.04718    0.01670  -2.826  0.00593 ** 
# ... (many other variables included)
# ---
# Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# 
# Residual standard error: 22.76 on 82 degrees of freedom
# Multiple R-squared:  0.9824,  Adjusted R-squared:  0.9779 
# F-statistic:   218 on 21 and 82 DF,  p-value: < 2.2e-16

par(mfrow=c(2,2))
plot(initial.fit)
title("Base Model",outer=T,line=-2)
plot(final.fit)
title("Best Model (AIC)",outer=T,line=-2)

因此，您可以从中看到，基于AIC指标的“最佳模型”实际上包括Main 1,3,5和6，但不包括Main 2和4.残差图显示不依赖于y（这是好的），QQ图显示残差的近似正态性（也很好）。另一方面，杠杆图显示了具有极高杠杆率的几个点（第33行和第85行），并且Q-Q图显示了这些相同的点和第47行，其具有与正态分布不完全一致的残差。因此，我们可以重新运行排除这些行的拟合，如下所示。

initial.fit <- lm(Y~.,df[c(-33,-47,-85),2:ncol(df)])
final.fit   <- stepAIC(initial.fit,trace=0)
summary(final.fit)
# ...
# Coefficients:
#               Estimate Std. Error t value Pr(>|t|)    
# (Intercept)   27.11832   20.28556   1.337 0.185320    
# Main1       1028.99836  125.25579   8.215 4.65e-12 ***
# Main2          2.04805    1.11804   1.832 0.070949 .  
# Main3          0.03849    0.02615   1.472 0.145165    
# Main4         -1.87427    0.94597  -1.981 0.051222 .  
# Main5          3.54803    1.99372   1.780 0.079192 .  
# Main6          0.20462    0.10360   1.975 0.051938 .  
# Sec1         129.62384   35.11290   3.692 0.000420 ***
# Third2        -0.11289    0.01716  -6.579 5.66e-09 ***
# Third3        -0.02909    0.01623  -1.793 0.077060 .  
# ... (many other variables included)

因此排除这些行导致具有所有“主”变量的拟合，其中p <1。 0.2，除了Main 3，除了p <0。 0.1（90％）。我想看看这三行，看看是否有合理的理由排除它们。

最后，仅仅因为你的模型很好地适合你现有的数据，并不意味着它作为预测模型表现良好。特别是，如果您试图在“模型空间”之外进行预测（相当于外推），那么您的预测能力可能会很差。

Answer 2

重要性取决于数据中的关系......而不是“我希望它们具有重要意义”。

如果数据显示它们无关紧要，那么它们就是微不足道的。

您将很难获得30个变量的任何重要性，并且只有100个观察值。只有100多个观察值，您应该只使用一些变量。有了30个变量，你需要1000次观察才能获得任何意义。

也许从你认为应该重要的变量开始，看看会发生什么。

R：保留某些变量的回归

2 个答案: