Question

我正在尝试将row.names中的两个大型矩阵与R merge合并，但这需要相当长的时间。是否有可能并行化merge方法？也许以某种方式使用foreach库？或者可能有更快的解决方案来完成这项工作？

我有8个内核和24 GB的RAM。两个矩阵大约为1.4 Gb，由~900行和~22000列组成。

以下是重现我的数据集的一个小例子的代码：

df1 <- data.frame(x = 1:3, y = 1:3, row.names = c('r1', 'r2', 'r3'))
df2 <- data.frame(z = 5:7, row.names = c('r1', 'r3', 'r7'))
dfMerged <- merge(df1, df2, by = "row.names", all = TRUE)
dfMerged[is.na(dfMerged)] <- 0

Answer 1

在data.table中，同样的合并应该更快。我认为它应该是可行的并行，但它可能会变得更复杂。这是data.table中的相同合并。

#Create data.table objects
dt1 <- data.table(x = 1:3, y = 1:3, var=c('r1', 'r2', 'r3'))
dt2 <- data.table(z = 5:7, var = c('r1', 'r3', 'r7'))

#Set merge keys
setkey(dt1,var)
setkey(dt2,var)

#Perform full outer join
dtMerged <- merge(dt1,dt2,all=T)

#Replace NAs with zeros (edited for more efficient answer suggest by Arun)
for (j in c("x", "y", "z")) 
  set(dtMerged, i=which(is.na(dtMerged[[j]])), j=j, value=0L)
dtMerged

var x y z
1:  r1 1 1 5
2:  r2 2 2 0
3:  r3 3 3 6
4:  r7 0 0 7

并行化由两个大矩阵的row.names合并

1 个答案: