将16.2Gb距离转换为R中的矩阵

时间:2020-09-17 13:26:42

标签: r out-of-memory distance

我要做的任务很简单,但是由于内存问题,我无法完成它。所以我想知道是否有更有效的方法来做到这一点。 我有一个大的data.frame,像这样:

enter image description here

此数据帧称为sp_df,我用R计算每个点之间的距离。问题是,由于其较大,我无法将其融合为矩阵。那就是我被封锁的地方。

sp_df <- read.csv("Euclidean_80K_Spots.csv", h=T)
sp_dist <- dist(sp_df)
sp_dist_m <- melt(as.matrix(sp_dt), varnames = c("ID", "neig"))

dist对象为16.2 Gb,由于其生物学特性,我无法将数据分成几小块。我所能做的就是过滤器dist并仅使dist <2,但我不知道该怎么做。 任何帮助将不胜感激! 谢谢!

0 个答案:

没有答案