Question

这个问题让我有些困惑。我有一个包含beta分布参数的数据表，数据表中的每一行对应于该分布的相对概率，以代表实际结果。

我想为多个样本值计算累积分布函数。使用sapply，代码如下所示：

beta_dists <- data.table(data.frame(probs = c(0.4,0.3,0.3), a = c(0.0011952,0.001,0.00809), b = c(837,220,624), scale = c(1.5e9,115e6,1.5e6)))
xx <- seq(0,1.5e9,length = 2^12)

system.time(FX <- sapply(xx, function(x) (beta_dists[x < scale,.(FX = sum(probs * (1 - pbeta(x / scale, a, b))))])$FX))

但是，这太慢了，看起来也不是很优雅...关于如何使它变得更好的任何想法？

Answer 1

这里建议通过将xx转换为要在i中使用的data.table来使用非等价联接：

ans <- beta_dists[dtx, on=.(scale > x), allow.cartesian=TRUE,
    sum(probs * (1 - pbeta(x / x.scale, a, b))), by=.EACHI]$V1

检查：

#last element is NA in ans whereas its NULL in FX
identical(unlist(FX), head(ans$V1, -1))
#[1] TRUE

计时代码：

opmtd <- function() {
    sapply(xx, function(x) (beta_dists[x < scale,.(FX = sum(probs * (1 - pbeta(x / scale, a, b))))])$FX)
}

nonequiMtd <- function() {
    beta_dists[dtx, on=.(scale > x), allow.cartesian=TRUE, sum(probs * (1 - pbeta(x / x.scale, a, b))), by=.EACHI]   
}

vapplyMtd <- function() {
    dt[, res := vapply(x, f, 0)]
}

library(microbenchmark)
microbenchmark(opmtd(), nonequiMtd(), vapplyMtd(), times=3L)

时间：

Unit: milliseconds
         expr        min         lq       mean     median         uq        max neval
      opmtd() 2589.67889 2606.77795 2643.77975 2623.87700 2670.83018 2717.78336     3
 nonequiMtd()   19.59376   21.12739   22.28428   22.66102   23.62954   24.59805     3
  vapplyMtd() 1928.25841 1939.91866 1960.31181 1951.57891 1976.33852 2001.09812     3

数据：

library(data.table)
beta_dists <- data.table(probs = c(0.4,0.3,0.3), a = c(0.0011952,0.001,0.00809), b = c(837,220,624), scale = c(1.5e9,115e6,1.5e6))
xx <- seq(0, 1.5e9, length = 2^12)
dtx <- data.table(x=xx)

Answer 2

我唯一的想法是用另一种方式做，即浏览包含您的样本值的数据表：

dt <- data.table(x = xx, res = 0)
f <- function(x) {
  beta_dists[x < scale, sum(probs * (1 - pbeta(x / scale, a, b)))]
}
system.time(dt[, res := vapply(x, f, 0)])

似乎更快。例如，当我将样本大小增加到2 ^ 14时，您的原始代码在我的计算机上运行了7秒钟，而我建议的代码在5秒钟内完成了该代码。

我认为最慢的部分是pbeta()函数，但我可能是错的。

data.table-应用值向量

2 个答案: