当连接两个数据表并在同一个表达式中使用by=
时,每当我尝试使用j中的内部data.table中的列时,我都会收到错误。我可以把事情分成两个单独的表达式,但这是额外的输入 - 并且在使用大型数据集时可能会有性能损失
作为一个例子
require(data.table)
DT1 <- data.table(k1 = 1:2, k2 = c('a', 'a', 'a', 'b', 'b', 'c'), v1 = 1:6, key = 'k2')
DT2 <- data.table(k1 = c('a', 'b', 'c'), w1 = 3^(1:3), key = 'k1')
DT1[DT2, sum(v1*w1), by=k1] # fails complaining about being unable to find w1
DT1[DT2, sum(v1*i.w1), by=k1] # also fails with the same error
DT1[DT2][, sum(v1*w1), by=k1] # works
对于小数据集,加入然后组方法很好。但是,对于具有多列的数据集,使用两个data.tables的所有列创建中间结果是一个重要的负载(我的实际数据表大小约为1-2 Gb)。
虽然我可以通过执行
来缩减所涉及的列数DT1[DT2[,.(k1, w1)]][,sum(v1*w1),by=k1]
消除了data.tables的一个重要值 - 不必经常指定数据集之间的关系。它还要求我记住每次进行连接时在两个不同的地方特定一列。
我有什么明显的遗失吗?