R矢量内存耗尽

Question

我当前在Macbook Pro上使用RStudio。

R version 3.5.0 (2018-04-23)
Platform: x86_64-apple-darwin15.6.0 (64-bit)
Running under: macOS High Sierra 10.13.4

从群集程序包中使用agnes（）函数时，收到错误消息：

Error: vector memory exhausted (limit reached?)

要解决此问题，我遵循了以下问题的答案中提到的步骤：R on MacOS Error: vector memory exhausted (limit reached?)

现在运行相同的功能，我收到R会话中止消息。 R遇到致命错误。会话已终止。

还有其他解决方案吗？

Answer 1

AGNES需要至少两个副本的距离矩阵。

现在，如果您有100.000个实例，则双精度（8字节）意味着我们正在谈论的内存使用量约为160000000000字节。那是160GB。 不包括输入数据或任何开销。如果幸运的话，AGNES的R版本仅存储上三角矩阵，这将减少2个整数。但是OTOH如果这样做，可能会在大约64k个对象上产生整数溢出。

因此，您可能需要选择与AGNES不同的算法，或者首先减少数据。