错误:由于外部功能,内存耗尽(限制达到?)

时间:2017-12-06 13:02:07

标签: r memory outer-join n-dimensional

我开发了一个脚本,我处理了两个大型数组(数千行),#34;父级"和"产品"

起始数据集如下所示:

parent<-sample(1:10000,3500)
product<-sample(1:7500,2500)
mztol<-0.0015
mzdiff<-sample(1:1000,31)
names(mzdiff)<-c("d1", "d2", "d3", "d4", "d5", "d6", "d7", "d8", "d9",
             "d10", "d11", "d12", "d13", "d14", "d15", "d16", "d17", "d18", 
             "d19", "d20", "d21", "d22", "d23", "d24", "d25", 
             "d26","d27,"d28", "d29", "d30",
             "d31")

首先,我应用了外部函数,以便逐个元素地得到两个数组之间差异的矩阵。

tabdiff<-outer(product,parent,'-')

然后我尝试用向量(mzdiff)逐元素地删除矩阵tabdiff,以便评估是否存在元素&lt; = a value(mztol)。我是通过外部功能做到的。

subfun<-function(x,y) abs(x-y)<=mztol
vsubfun<-Vectorize(subfun)
vlogres<-outer(tabdiff,mzdiff,vsubfun)

这里我得到了一个向量,每个元素都是一个逻辑矩阵。然后我把它转换成一个列表:

listres<-alply(vlogres,3,.dims=T)

并仅提供TRUE元素并计算它们:

result<-sapply(listres, function(x) table(x)["TRUE"])

嗯,关键是如果我只详细说明小的父级和产品向量,脚本可以正常工作,例如:

parent<-sample(1:1000,150)
product<-sample(1:1500,500)

如果我考虑大的那些,我收到错误消息&#34;错误:内存耗尽(达到限制?)&#34;当它处理vlogres时。 考虑我有一个16 Gb RAM工作站。但无论如何它都失败了。

那么如何优化此脚本以避免错误消息?任何提示?

1 个答案:

答案 0 :(得分:0)

我能想到的最简单的解决方案是将tabdiff作为1d向量进行迭代

tabdiff<-c(outer(product, parent, '-'))
result <- sapply(tabdiff, function(i) sum(abs(i-mzdiff) <= mztol))

sapply语句应该执行你想要的但你应该仔细检查它。这消除了保存m * n * p大小数据的任务。

另一个想法是向后看你的问题。您希望product - parent值在每个mztol的容差阈值(mzdiff)内。这意味着您希望product - parent范围内的mzdiff +/- mztol值。您可以为每个mzdiff创建上限和下限值的向量,并使用dplyr::between或更快的data.table::inrange来查找哪些值在范围内。