像大多数人一样,哈德利·威克汉姆(Hadley Wickham)以及他为R
做的事情给我留下了深刻的印象-因此我认为我将向他的tidyverse
移去一些功能...我想知道这一切的意义是什么?
我的新dplyr
函数比其基本等效函数慢得多-我希望我做错了什么。我特别希望从了解non-standard-evaluation
所需的工作中获得一些回报。
那么,我在做什么错?为什么dplyr
这么慢?
一个例子:
require(microbenchmark)
require(dplyr)
df <- tibble(
a = 1:10,
b = c(1:5, 4:0),
c = 10:1)
addSpread_base <- function() {
df[['spread']] <- df[['a']] - df[['b']]
df
}
addSpread_dplyr <- function() df %>% mutate(spread := a - b)
all.equal(addSpread_base(), addSpread_dplyr())
microbenchmark(addSpread_base(), addSpread_dplyr(), times = 1e4)
计时结果:
Unit: microseconds
expr min lq mean median uq max neval
addSpread_base() 12.058 15.769 22.07805 24.58 26.435 2003.481 10000
addSpread_dplyr() 607.537 624.697 666.08964 631.19 636.291 41143.691 10000
因此,使用dplyr
函数转换数据大约需要30倍以上的时间-肯定不是这样吗?
我认为这可能太简单了-如果我们有一个更现实的情况来添加列和子集数据,dplyr
确实会发光-但这更糟。从下面的时序中可以看出,这比基本方法要慢约70倍。
# mutate and substitute
addSpreadSub_base <- function(df, col1, col2) {
df[['spread']] <- df[['a']] - df[['b']]
df[, c(col1, col2, 'spread')]
}
addSpreadSub_dplyr <- function(df, col1, col2) {
var1 <- as.name(col1)
var2 <- as.name(col2)
qq <- quo(!!var1 - !!var2)
df %>%
mutate(spread := !!qq) %>%
select(!!var1, !!var2, spread)
}
all.equal(addSpreadSub_base(df, col1 = 'a', col2 = 'b'),
addSpreadSub_dplyr(df, col1 = 'a', col2 = 'b'))
microbenchmark(addSpreadSub_base(df, col1 = 'a', col2 = 'b'),
addSpreadSub_dplyr(df, col1 = 'a', col2 = 'b'),
times = 1e4)
结果:
Unit: microseconds
expr min lq mean median uq max neval
addSpreadSub_base(df, col1 = "a", col2 = "b") 22.725 30.610 44.3874 45.450 53.798 2024.35 10000
addSpreadSub_dplyr(df, col1 = "a", col2 = "b") 2748.757 2837.337 3011.1982 2859.598 2904.583 44207.81 10000
答案 0 :(得分:7)
这是微秒,您的数据集有10行,除非计划在数百万个10行的数据集上循环,否则基准几乎是无关紧要的(在这种情况下,我无法想象不会有这样的情况)明智的做法是将它们绑定在一起作为第一步)。
让我们用更大的数据集来做,例如大一百万倍:
df <- tibble(
a = 1:10,
b = c(1:5, 4:0),
c = 10:1)
df2 <- bind_rows(replicate(1000000,df,F))
addSpread_base <- function(df) {
df[['spread']] <- df[['a']] - df[['b']]
df
}
addSpread_dplyr <- function(df) df %>% mutate(spread = a - b)
microbenchmark::microbenchmark(
addSpread_base(df2),
addSpread_dplyr(df2),
times = 100)
# Unit: milliseconds
# expr min lq mean median uq max neval cld
# addSpread_base(df2) 25.85584 26.93562 37.77010 32.33633 35.67604 170.6507 100 a
# addSpread_dplyr(df2) 26.91690 27.57090 38.98758 33.39769 39.79501 182.2847 100 a
仍然非常快,并且差别不大。
对于您得到的结果的“原因”,这是因为您使用的是复杂得多的函数,因此开销很大。
评论者指出,dplyr
并不会太努力地追求快速,也许当您与data.table
进行比较时确实如此,而界面是首要考虑的问题,但是作者一直在努力速度也是如此。例如,混合评估允许(如果我做对的话)在与通用函数进行聚合时直接在分组数据上执行C代码,这可能比基本代码快得多,但是简单代码始终可以通过简单函数运行。