我有一个关于19列和超过1000万行的数据。现在我想运行负二项式回归。
由于内存是瓶颈,我计划使用ff
包来处理这个问题。但事实证明,在这种情况下,glm.nb
包中的函数MASS
不能使用。并且有一个ffbase
包,它有一些增强功能,但没有glm.nb。
此外,bigmemory
和biganalytics
包也存在此类问题。
我不知道我的理解是否正确。或者确实有一种可行的方法来合并ff
和MASS
。那么如何进行下一步?
PS,我使用windows ...这似乎是处理这么大数据的诅咒..
欢迎任何链接,评论或提示!
答案 0 :(得分:3)
随机抽取您的数据点。做分析。重复。估计由于这种蒙特卡罗过程引起的方差。如果结果参数仍然非显着非零,则停止。