Question

考虑以下

n <- 10^4
p <- 2
foo <- matrix(runif(p*n), n, p)

我想计算矩阵每一行的范数，即计算sqrt(crossprod(a_i))，其中a_i是foo的第i行。我可以使用apply或for循环执行此操作：

for_loop <- function(x){
  range <- seq_along(x[,1])
  foo <- range
  for (i in range){
    foo[i] <- sqrt(crossprod(x[i,]))
    }
  foo
}

use_apply <- function(x){
  apply(x, 1, function(r) sqrt(crossprod(r)))
}

我认为更简单的apply代码更快，但是：

> microbenchmark(for_loop(foo), use_apply(foo), times = 1000)
Unit: milliseconds
           expr      min       lq     mean   median       uq      max neval
  for_loop(foo) 16.07111 18.87690 24.25369 20.78997 27.66441 179.8374  1000
 use_apply(foo) 24.77948 29.05891 35.98689 31.89625 40.30085 205.1632  1000

请注意，times = 1000可能需要相当长的时间，如果您没有快速计算机，则可能需要使用microbenchmark默认值。为什么apply比for循环代码慢？是否有purrr的某些功能更快？

编辑我无法相信crossprod(x)会比sum(x*x)慢得多，所以我想检查一下Emmanuel-Lin的结果。我得到了非常不同的时间：

my_loop <- function(x){
  range <- seq_along(x[,1])
  foo <- range
  for (i in range){
    foo[i] <- sqrt(sum((x[i,] *x[i,])))
    }
  foo
}

my_apply <- function(x){
  apply(x, 1, function(r) sqrt(sum(r*r)))
}

for_loop <- function(x){
  range <- seq_along(x[,1])
  foo <- range
  for (i in range){
    foo[i] <- sqrt(crossprod(x[i,]))
  }
  foo
}

use_apply <- function(x){
  apply(x, 1, function(r) sqrt(crossprod(r)))
}
> microbenchmark(for_loop(foo), my_loop(foo), use_apply(foo), my_apply(foo))
Unit: milliseconds
           expr       min       lq     mean   median       uq       max neval
  for_loop(foo) 16.299758 17.77176 21.59988 19.04428 22.44558 131.33819   100
   my_loop(foo)  9.950813 12.02106 14.43540 12.66142 15.26865  45.42030   100
 use_apply(foo) 25.480019 27.95396 31.98351 29.85244 36.41599  60.88678   100
  my_apply(foo) 13.277354 14.98329 17.60356 15.98103 19.70325  34.07097   100

好吧，my_apply和my_loop速度更快（我仍然无法相信！什么，crossprod针对缓慢进行了优化？： - /）但不是那么快，正如Emmanuel-lin所发现的那样。它可能与crossprod执行的某些维度同余检查有关。

Answer 1

如果你检查代码，

apply实际上是一个R for循环：

   #only the for-loop code shown here
   if (length(d.call) < 2L) {
        if (length(dn.call)) 
            dimnames(newX) <- c(dn.call, list(NULL))
        for (i in 1L:d2) {
            tmp <- forceAndCall(1, FUN, newX[, i], ...)
            if (!is.null(tmp)) 
                ans[[i]] <- tmp
        }
    }
    else for (i in 1L:d2) {
        tmp <- forceAndCall(1, FUN, array(newX[, i], d.call, 
            dn.call), ...)
        if (!is.null(tmp)) 
            ans[[i]] <- tmp
    }

除上述内容外，apply也会运行一系列检查，以确保您提供的参数正确无误。以上是使它慢一点。

但是，lapply，sapply和vapply是基于C的for循环，因此比基于R的for循环快得多。

Answer 2

在RAM上完成@LyzandeR答案。

您可以通过编码自己的乘法来更快地执行计算：

按sum(r * r)

重新生成crossprod

my_loop <- function(x){
  range <- seq_along(x[,1])
  foo <- range
  for (i in range){
    foo[i] <- sqrt(sum(x[i,] * x[i,]))
  }
  foo
}


my_sapply <- function(x){
  apply(x, 1, function(r) sqrt(sum(r * r)))
}

microbenchmark(for_loop(X), 
               use_apply(X),
               my_loop(X),
               my_sapply(X),
               times = 100)

结果：

Unit: milliseconds
         expr       min        lq      mean    median        uq       max neval
  for_loop(X) 122.45210 145.67150 179.84469 177.63446 199.10468 460.73182   100
 use_apply(X) 141.99250 169.11596 198.82019 198.11953 223.50906 296.94566   100
   my_loop(X)  10.38776  11.61263  16.47609  14.24066  19.07957  58.50008   100
 my_sapply(X)  13.21431  15.32081  23.23124  18.39573  26.08099 222.57685   100

所以速度提高了10倍以上！

你也可以注意到你的机器比我的机器快：/

在计算矩阵的所有行/列的范数时，为什么使用for循环比应用更快？

2 个答案: