Question

请考虑这个

library(data.table)
mydt <- 
  data.table(id = 1:100,
           p1 = sample(seq(0,1,length.out=1000),100))
mydt$p2 <- 1 - mydt$p1

我想应用一个函数，使用列p1和p2中的向量作为参数。

myFun <- function(x) {
  sample(c(1,2), 1, prob = x)
}

这有效，

mydt$outcome <- apply(mydt[,2:3], 1, myFun)

但是我有2500万行，所以我达到了内存限制。

我尝试了此操作，但没有用。

mydt[,mydt := mapply(myFun, p1, p2)]

Answer 1

prob中的

sample自变量需要一个向量。并将myFun应用于每一行，您可以使用by=1:nrow(mydt)或by=1:mydt[,.N]

mydt[, chosen := myFun(c(p1, p2)), by=1:nrow(mydt)]

@Roland的rbinom使用提示。他在伯努利试验中使用的矢量化版本要快得多。

> system.time(mydt[, chosen := myFun(c(p1, p2)), by=1:nrow(mydt)])
   user  system elapsed 
   4.82    0.00    4.86 
> system.time(mydt[, outcome2 := rbinom(.N, 1, p2) + 1])
   user  system elapsed 
   0.05    0.02    0.06

用于计时的数据：

library(data.table)
set.seed(0L)
m <- 1e6
mydt <- data.table(id = 1:m, p1 = runif(m))[, p2 := 1 - p1]
myFun <- function(x) sample(c(1,2), 1, prob = x)

准确性检查：

n <- 0L
while (n < 1e3) {
    set.seed(n)
    mydt[, chosen := myFun(c(p1, p2)), by=1:nrow(mydt)]

    set.seed(n)
    mydt[, outcome2 := rbinom(.N, 1, p2) + 1]

    if(!all.equal(mydt$chosen, mydt$outcome2)) stop("mismatch")
    n <- n + 1
}

将函数应用于data.table中的矢量化列值

1 个答案: