Question

给定具有任意行数和列数的数据框或矩阵，将函数应用于列的所有成对组合的最快方法是什么？

例如，如果我有数据表：

N <- 3
K <- 3
data <- data.table(id=seq(N))
for(k in seq(K)) {
    data[[k]] <- runif(N)
}

我想计算所有列对之间的简单差异，我可以在列上循环（或lapply）：

differences = data.table(foo=seq(N))
for(var1 in names(data)) {
    for(var2 in names(data)) {
        if (var1==var2) next
        if (which(names(data)==var1)>which(names(data)==var2)) next
        combo <- paste0(var1, var2)
        differences[[combo]] <- data[[var1]]-data[[var2]]
    }
}

但随着K变大，这变得非常缓慢。

我考虑过的一个解决方案是使用combn创建两个新数据表并减去它们：

a <- data[,combn(colnames(data),2)[1,],with=F]
b <- data[,combn(colnames(data),2)[2,],with=F]
differences <- a-b

但随着N和K变大，这变得非常耗费内存（尽管比循环更快）。

在我看来，矩阵的外部产品本身可能是最好的方法，但我不能将它拼凑在一起。如果我想应用任意函数（例如RMSE），而不仅仅是差异，那么这一点尤其困难。

最快的方法是什么？

Answer 1

如果需要先将数据放在矩阵中，您可以执行以下操作：

library(data.table)

data <- matrix(runif(300*500), nrow = 300, ncol = 500)

data.DT <- setkey(data.table(c(data), colId = rep(1:500, each = 300), rowId = rep(1:300, times = 500)), colId)

diff.DT <- data.DT[
  , {
    ccl <- unique(colId)
    vv <- V1
    data.DT[colId > ccl, .(col2 = colId, V1 - vv)]
  }
  , keyby = .(col1 = colId)
]

将函数应用于列的所有成对组合的最快方法

1 个答案: