“达到31249Mb的总分配有哪些风险:请参阅help(memory.size)”

时间:2017-06-29 16:09:43

标签: r memory-management out-of-memory

在处理修改大对象(5gb)的几次,在具有30GB RAM的Windows机器上,我一直在发现错误 Reached total allocation of 31249Mb: see help(memory.size)。然而,这个过程似乎已经完成,即我得到一个文件,其中看起来就像正确的值一样。通过将其切割并将其与正确的部分进行比较来检查大文件的每一位以获得正确的返回是非常耗时的,但是当我完成它时,看起来返回的对象与我的期望是正确的。

我可以从这个错误中得到什么样的风险/副作用?我应该检查什么?该过程是否会自动恢复,因为我正在收回我期待的回报,或者错误会更加微妙?我的整个分析过程都是使用tidyverse编写的,这是否意味着我可以依赖Hadley等人的良好错误处理,这就是为什么我的流程是警告,还要完成?

N.B。我没有包括对MWE的任何尝试,因为每台机器都会对可用的内存有不同的限制,但是如果有建议的话,很高兴能够展示这种过程的MWE。

1 个答案:

答案 0 :(得分:0)

使用memory.limit(x),其中x是提供内存的MB数量。

有关详情,请参阅链接: Increasing (or decreasing) the memory available to R processes