在使用anova（）的lmer（）模型中测试随机效果时，是否需要设置refit = FALSE？

Question

我目前正在测试是否应该在我的lmer模型中包含某些随机效果。我使用anova函数。到目前为止，我的程序是使用lmer()（默认选项）调用带有REML=TRUE函数的模型。然后我在两个模型上调用anova()，其中一个模型确实包含要测试的随机效果，而另一个模型没有。但是，众所周知，anova()函数会使用ML重新定义模型，但在anova()的新版本中，您可以通过设置选项anova()来阻止refit=FALSE这样做。为了测试随机效应，我应该在调用refit=FALSE时设置anova() or not?（如果我设置refit=FALSE，p值往往会更低。是否p值反...我设置refit=FALSE后保守吗？）

方法1：

    mod0_reml <- lmer(x ~ y + z + (1 | w), data=dat)
    mod1_reml <- lmer(x ~ y + z + (y | w), data=dat)
    anova(mod0_reml, mod1_reml)

这将导致anova()使用ML而不是REML重新构建模型。 （较新版本的anova()函数也会输出有关此信息的信息。）

方法2：

    mod0_reml <- lmer(x ~ y + z + (1 | w), data=dat)
    mod1_reml <- lmer(x ~ y + z + (y | w), data=dat)
    anova(mod0_reml, mod1_reml, refit=FALSE)

这将导致anova()在原始模型上执行计算，即使用REML=TRUE。

为了测试我是否应该包含随机效果，这两种方法中的哪一种是正确的？

感谢您的帮助

Answer 1

一般来说，我会说在这种情况下使用refit=FALSE是合适的，但让我们继续尝试模拟实验。

首先将没有随机斜率的模型拟合到sleepstudy数据集，然后模拟此模型中的数据：

library(lme4)
mod0 <- lmer(Reaction ~ Days + (1|Subject), data=sleepstudy)
## also fit the full model for later use
mod1 <- lmer(Reaction ~ Days + (Days|Subject), data=sleepstudy)
set.seed(101)
simdat <- simulate(mod0,1000)

现在使用完整模型和简化模型重新调整空数据，并使用anova()保存refit=FALSE生成的p值的分布。这基本上是零假设的参数自举测试;我们想看看它是否具有适当的特征（即p值的均匀分布）。

sumfun <- function(x) {
    m0 <- refit(mod0,x)
    m1 <- refit(mod1,x)
    a_refit <- suppressMessages(anova(m0,m1)["m1","Pr(>Chisq)"])
    a_no_refit <- anova(m0,m1,refit=FALSE)["m1","Pr(>Chisq)"]
    c(refit=a_refit,no_refit=a_no_refit)
}

我喜欢plyr::laply以方便使用，尽管您可以轻松使用for循环或其他*apply方法之一。

library(plyr)
pdist <- laply(simdat,sumfun,.progress="text")

library(ggplot2); theme_set(theme_bw())
library(reshape2)
ggplot(melt(pdist),aes(x=value,fill=Var2))+
     geom_histogram(aes(y=..density..),
        alpha=0.5,position="identity",binwidth=0.02)+
     geom_hline(yintercept=1,lty=2)
ggsave("nullhist.png",height=4,width=5)

alpha = 0.05的I类错误率：

colMeans(pdist<0.05)
##   refit no_refit 
##   0.021    0.026

你可以看到，在这种情况下，这两个程序给出了几乎相同的答案，并且两个程序都是非常保守的，因为众所周知的原因与假设的空值有关。测试是在其可行空间的边界上。对于测试单个简单随​​机效应的特定情况，将p值减半给出了合适的答案（参见Pinheiro和Bates 2000等）;这实际上似乎在这里给出了合理的答案，虽然它并不是真正合理的，因为这里我们正在放弃两个随机效应参数（斜率的随机效应以及斜率和拦截随机效应之间的相关性）：

colMeans(pdist/2<0.05)
##   refit no_refit 
##   0.051    0.055 

其他要点：

• 您可以使用PBmodcomp包中的pbkrtest功能进行类似的练习。
• RLRsim包被精确设计用于关于随机效应项的零假设的快速随机化（参数引导）测试，但似乎在这种稍微复杂的情况下不起作用
• 查看相关的GLMM faq section 以获取类似信息，包括您可能根本不想测试随机效应的重要性的论据......
• 为了额外的功劳，您可以使用偏差（-2对数似然）差异而不是p值作为输出重做参数自举运行，并检查结果是否符合chi^2_0（点质量）之间的混合在0）和chi^2_n分布（其中n 可能 2，但我不确定这个几何）