Question

问题描述

我有45000个短时间序列（长度为9），并且想要计算聚类分析的距离。我意识到这将导致（下三角形）一个大小为45000x45000的矩阵，一个超过20亿个条目的矩阵。不出所料，我得到了：

> proxy::dist(ctab2, method="euclidean")
Error: cannot allocate vector of size 7.6 Gb

我该怎么办？

观

以某种方式增加可用/可寻址内存？但是，这些7.6G可能超出了一些无法延伸的硬限制？在任何情况下，系统都有16GB内存和相同的交换量。通过“Gb”，R似乎意味着技嘉，而不是千兆，所以7.6Gb让我们已经危险地接近硬限制。
也许一种不同的距离计算方法而不是欧几里德，比如说DTW，可能会更有效率？但是，如下所述，内存限制似乎是结果矩阵，而不是计算时所需的内存。
将数据集拆分为N个块并以N ^ 2个部分计算矩阵（实际上只有那些与下三角相关的部分），以后可以重新组装？（这可能类似于提出的类似问题的解决方案here。）但这似乎是一个相当混乱的解决方案。此外，无论如何我最终还是需要45K x 45K矩阵。然而，这似乎达到了极限。在生成45K x 45K随机矩阵时，系统还会给出内存分配错误：

> N=45000; memorytestmatrix <- matrix( rnorm(N*N,mean=0,sd=1), N, N) Error: cannot allocate vector of size 15.1 Gb

30K x 30K矩阵可以没有问题，R给出的结果大小为

> print(object.size(memorytestmatrix), units="auto") 6.7 Gb

1 Gb以上，似乎一切都会好起来的。可悲的是，我没有任何大型物品可以删除以腾出空间。而且，具有讽刺意味的是，

> system('free -m') Warning message: In system("free -m") : system call failed: Cannot allocate memory

我必须承认，我不确定为什么R拒绝分配7.6 Gb;系统肯定有更多的内存，虽然不是很多。 ps aux将R进程显示为单个最大内存用户。也许有一个问题，即使有更多的内存，R可以解决多少内存？

相关问题

与R内存不足相关的其他问题的答案，如this one，建议使用更有效的内存计算方法。
This very helpful answer建议删除其他大型对象，以便为内存密集型操作腾出空间。
Here，建议分割数据集和计算距离的想法。

软件＆amp;版本

R版本是3.4.1。系统内核是Linux 4.7.6，x86_64（即64位）。

> version
           _                           
platform       x86_64-pc-linux-gnu         
arch           x86_64                      
os             linux-gnu                   
system         x86_64, linux-gnu           
status                                     
major          3                           
minor          4.1                         
year           2017                        
month          06                          
day            30                          
svn rev        72865                       
language       R                           
version.string R version 3.4.1 (2017-06-30)
nickname       Single Candle

编辑（8月27日）：更多信息

将Linux内核更新到4.11.9无效。
bigmemory 包也可能内存不足。它使用/dev/shm/中的共享内存，默认情况下系统（但取决于配置）允许RAM的一半大小。您可以通过执行（例如）mount -o remount,size=12Gb /dev/shm在运行时增加此值，但这可能仍然不允许使用12Gb。（我不知道为什么，也许内存管理配置不一致）。另外，you may end up crashing your system if you are not careful。
R显然实际上允许访问完整的RAM并且可以创建达到该大小的对象。它似乎对dist等特定功能失败了。我将此作为答案添加，但我的结论有点基于推测，所以我不知道这是正确的程度。

Answer 1

R显然实际上允许访问完整的RAM。这完全没问题：

N=45000; memorytestmatrix <- matrix(nrow=N, ncol=N)

这与我之前在原始问题中所描述的相同，但是使用NA而不是rnorm随机变量的矩阵。将矩阵中的一个值重新分配为float（memorytestmatrix[1,1]<-0.5）仍然有效，并将矩阵重新分配为浮点矩阵。

因此，我想，你可以有一个这样大小的矩阵，但你不能像dist函数尝试这样做那样做。可能的解释是该函数使用该大小的多个对象进行操作以加速计算。但是，如果您按元素计算距离并更改适当的值，则此方法有效。

library(mefa)     # for the vec2dist function

euclidian <- function(series1, series2) {
    return((sum((series1 - series2)^2))^.5)
}

mx = nrow(ctab2)
distMatrixE <- vec2dist(0.0, size=mx)
for (coli in 1:(mx-1)) {
    for (rowi in (coli+1):mx) {
        # Element indices in dist objects count the rows down column by column from left to righ in lower triangular matrices without the main diagonal. 
        # From row and column indices, the element index for the dist object is computed like so:
        element <- (mx^2-mx)/2 - ((mx-coli+1)^2 - (mx-coli+1))/2 + rowi - coli
        # ... and now, we replace the distances in place
        distMatrixE[element] <- euclidian(ctab2[rowi,], ctab2[coli,])
    }
}

（请注意，dist个对象中的寻址有点棘手，因为它们不是矩阵，但是大小为（N²-N）/ 2 的1维向量重铸为下三角矩阵大小 N x N 。如果我们按正确的顺序浏览行和列，也可以使用计数器变量来完成，但我想，明确地计算元素索引更清楚。）

另请注意，通过一次计算多个值，可以通过使用sapply来加快速度。

Answer 2

在内存中存在不需要全距离矩阵的好算法。

例如，SLINK和DBSCAN以及OPTICS。

R在时间序列距离计算期间耗尽内存

2 个答案: