Question

输入

> specialty.dt
   specialty        p1        p2
1:      ZKWM 0.0000000 0.7377049
2:      MZAY 0.7377049 1.0000000

> provider.dt
   provSysId       prob
1:        23 0.94225972
2:        16 0.39277028
3:         8 0.07162044
4:        25 0.42598790
5:         7 0.90370561
6:        12 0.71343887

输出

> prov_spec.dt
   provSysId       prob specialty        p1        p2
1:        23 0.94225972      MZAY 0.7377049 1.0000000
2:        16 0.39277028      ZKWM 0.0000000 0.7377049
3:         8 0.07162044      ZKWM 0.0000000 0.7377049
4:        25 0.42598790      ZKWM 0.0000000 0.7377049
5:         7 0.90370561      MZAY 0.7377049 1.0000000
6:        12 0.71343887      ZKWM 0.0000000 0.7377049

创建上表的代码如下所示。对于num.provider=5和num.specialty=10000，创建输出需要将近30秒。我想知道是否有更快的方法来获得相同的结果（没有先做笛卡尔积，因为这需要大量的内存）。

require(data.table)

num.specialty <- 50
num.provider <- 10000

specialty.dt <- data.table(specialty=replicate(num.specialty, paste(sample(LETTERS, 4, replace=TRUE), collapse="")))[,
    cnt:=sample(1:50, .N, replace=T)][, prob:=cnt/sum(cnt)][, p2:=cumsum(prob)][, p1:=shift(p2,,0)][, 
    c("specialty","p1","p2"), with=FALSE]

provider.dt <- data.table(provSysId=sample(seq(num.provider+1,num.provider*5), num.provider, replace=FALSE))[, prob:=runif(.N)]

system.time({
prov_spec.dt <- rbindlist(lapply(1:num.provider, function(n) {r <- provider.dt[n]; cbind(r,specialty.dt[p1 <= r[,prob] & r[,prob] < p2]) }))
})

Answer 1

您的rbindlist(lapply(...))可以使用ObjectDoesNotExist替换为 non-equi 加入

specialty.dt[ provider.dt, on = .(p1 <= prob, p2 > prob)]

使用specialty.dt和provider.dt的条件直接将p1 <= prob加入prob < p2。

参考

version 1.9.7 of data.table

Here's a list of similar questions

加速不平等的加入

1 个答案: