需要与biglm类似的东西,但需要混合效果模型

时间:2019-04-12 09:10:41

标签: python r lme4 reticulate

我目前正在使用大约400万个数据点的数据集。我在Macbook Pro上的Rstudio中使用R(32GB Ram,2.2GHz Intel Core i7,硬盘驱动器上有155个可用内存)。

我的目标是对数据执行非线性混合效应回归。数据具有两个嵌套的随机效应,模型需要变化的斜率和截距。

我对此模型的代码是:

model <- lmer(DV ~ I(IVr^2) + IV + (IV | group/episode), data = data, REML=FALSE)

但是,在运行模型时,该进程在崩溃前会占用约42gb的RAM。日志是:

Vector memory exhausted (limit reached?)

我想以某种方式操纵R,以便使其运行速度较慢,但​​用尽了可用的硬盘驱动器内存,以便可以处理该运行。我找到的最接近的解决方案是R中的biglm包,但是找不到lmer()的等效项。在Mac上操作交换空间方面,我也找不到很多东西。欢迎您解决问题。

或者,我说python,所以使用python解决方案会很棒。 (即一个可以处理多项式混合效应模型的模块和一个可以解决我的内存问题的模块)

0 个答案:

没有答案