Question

这个问题是由this problem提示的。

考虑两个向量a和b，以及两个数据表dt.a和dt.b，如下所示：

a <- c(55, 1:25)
b <- c(55,30:40)

library(data.table)
dt.a <- data.table(x=a,key="x")
dt.b <- data.table(x=b,key="x")

intersect(a,b)
[1] 55
dt.a[dt.b,nomatch=0]
    x
1: 55

目标是计算共同元素的数量。

我的问题是：为什么数据表加入速度比intersect(...)慢30倍

system.time(for (i in 1:1000){intersect(a,b)})
   user  system elapsed 
   0.05    0.00    0.04 
system.time(for (i in 1:1000){dt.a[dt.b,nomatch=0]})
   user  system elapsed 
   1.68    0.00    1.69

Answer 1

当出现“大”问题时，data.table的力量闪耀。 [.data.table的开销将使实际花费在二进制搜索组件上的时间相形见绌。

如果你给它一个“大”问题，那么data.table会缩放，你会看到差异。

# a "bigger" problem
a <- c(55, 1:25e6)
b <- c(55,30:40e6)

library(data.table)
dt.a <- data.table(x=a,key="x")
dt.b <- data.table(x=b,key="x")

library(microbenchmark)

microbenchmark(intersect(a,b), dt.a[dt.b, nomatch=0],times=5)
## Unit: seconds
##                     expr      min       lq   median       uq      max neval
##          intersect(a, b) 6.848245 6.897009 6.962055 7.052095 7.058509     5
##  dt.a[dt.b, nomatch = 0] 3.629062 3.654269 3.685051 3.721983 3.815155     5

为什么交叉（...）比数据表连接更快？

1 个答案: