有效地计算data.table列的线性组合

Question

我在data.table中有nc列，在向量中有nc个标量。我想要一个linear combination列，但我不知道我将使用哪些列。 最有效的方法是什么？

设置

require(data.table)
set.seed(1)

n  <- 1e5
nc <- 5
cf <- setNames(rnorm(nc),LETTERS[1:nc])
DT <- setnames(data.table(replicate(nc,rnorm(n))),LETTERS[1:nc])

如何做到这一点

假设我想使用前四列。我可以手动写：

DT[,list(cf['A']*A+cf['B']*B+cf['C']*C+cf['D']*D)]

我可以想到两种自动方式（在不知道应该全部使用A-E的情况下工作）：

mycols <- LETTERS[1:4] # the first four columns
DT[,list(as.matrix(.SD)%*%cf[mycols]),.SDcols=mycols]
DT[,list(Reduce(`+`,Map(`*`,cf[mycols],.SD))),.SDcols=mycols]

基准

我希望as.matrix使第二个选项变慢，并且对Map - Reduce组合的速度没有直觉。

require(rbenchmark)
options(datatable.verbose=FALSE) # in case you have it turned on

benchmark(
    manual=DT[,list(cf['A']*A+cf['B']*B+cf['C']*C+cf['D']*D)],
    coerce=DT[,list(as.matrix(.SD)%*%cf[mycols]),.SDcols=mycols],
    maprdc=DT[,list(Reduce(`+`,Map(`*`,cf[mycols],.SD))),.SDcols=mycols]
)[,1:6]

    test replications elapsed relative user.self sys.self
2 coerce          100    2.47    1.342      1.95     0.51
1 manual          100    1.84    1.000      1.53     0.31
3 maprdc          100    2.40    1.304      1.62     0.75

当我重复benchmark电话时，相对于手动方式，我的速度减慢了5％到40％。

我的申请

此处的维度 - n和length(mycols) - 与我正在使用的相近，但我会多次运行这些计算，更改系数向量cf

Answer 1

这比我的手动版本快了近2倍：

Reduce("+", lapply(names(DT), function(x) DT[[x]] * cf[x]))

benchmark(manual = DT[, list(cf['A']*A+cf['B']*B+cf['C']*C+cf['D']*D)],
          reduce = Reduce('+', lapply(names(DT), function(x) DT[[x]] * cf[x])))
#    test replications elapsed relative user.self sys.self user.child sys.child
#1 manual          100    1.43    1.744      1.08     0.36         NA        NA
#2 reduce          100    0.82    1.000      0.58     0.24         NA        NA

要迭代mycols，请将names(DT)替换为mycols中的lapply。

Answer 2

将此选项添加到基准调用中：

ops = as.matrix(DT) %*% cf

在我的设备上，它比您尝试的矩阵乘法快30％。