使用最佳子集回归后如何选择回归模型?

时间:2018-12-08 02:50:58

标签: r math statistics linear-regression

我正在使用R中的jumps包进行作业。给了我一个结果变量和20个独立变量,并告诉我找到生成数据点的模型。我将其范围缩小到两个模型,它们之间的区别仅在于一次交互作用。在1999 df上,我的显着性水平为0.001,t值为3.295。当我检查包含此二阶相互作用的模型时,其t值非常接近但略高于3.295,而其p值仅为0.000991。

是否可以通过添加此术语来确保我没有犯I型错误?有人告诉我将变量插入不具有交互作用项的回归中,如果它们仍然有效,则可能在模型中。但是,我的教授也向我们解释了,最简单的解释通常是正确的解释(奥卡姆剃刀)。

对于这个含糊不清的内容,我们深感抱歉,但是我非常犹豫,无法在线上发布有关该项目的太多信息。

1 个答案:

答案 0 :(得分:0)

正如您所指出的那样,在模型选择中,您通常希望采用更多的简约模型,以便它们具有较少的假设。调整R平方的作品;不过,更受欢迎的方法是赤池的信息准则和贝叶斯信息准则。通常,BIC比AIC更保守。当人们使用AIC或BIC时,他们通常希望得分更低。没有意义,因为这是完全相对的措施。

当您谈论重大差异时,我认为您是在谈论偏差分析。可能性按卡方分布分布,因此您可以使用对数似然比检验可以检验两个模型之间的差异,如果两个模型相互嵌套,则可以使用ANOVA进行检验通过添加参数来描述模型的不同之处。参数的单个对比是否显着并不必然使您的模型更适合,所以您要做的是针对与该模型几乎相同的模型测试整个模型。

代码就是anova(reducedmodel, fullmodel) 或者,可以使用lmtest软件包lrtest(fullmodel,reducedmodel)

完成对数似然比测试