Question

我有一个相对较大的（约250万条记录）数据帧，其结构大致如下：

df <- tibble(year = rep(2000:2009, times = 10), value = sample(0:1000, 100)) %>% 
  arrange(year)

我想根据每年内的分位数将每个值分配给存储桶（例如，观察值1在2000年的值的底部四分位数中）。对于我的琐碎示例，它可以正常工作：

df %>% 
  group_by(year) %>% 
  mutate(bucket = as.numeric(cut(value, 
                             breaks = quantile(value, probs = c(0, .25, .5, .75, 1)), 
                             include.lowest = T)))

df

# A tibble: 100 x 3
# Groups:   year [10]
    year value bucket
   <int> <int>  <dbl>
 1  2000   281      1
 2  2000   336      2
 3  2000   873      4
 4  2000    41      1
 5  2000   335      1
 6  2000   939      4
 7  2000   746      3
 8  2000   762      4
 9  2000   345      2
10  2000   628      3

但是在我完整的数据集上，这（永远不令人感到意外）永远存在。为了加快速度，我在单独的数据框中计算了每年的分位数：

break_calc <- function(yr) {
  library(magrittr)
  df %>% 
    filter(year == yr) %$%
    quantile(value, probs = c(0, .25, .5, .75, 1))
}

df_quants <- tibble(year = 2000:2009) %>% 
  mutate(breaks = map(year, ~break_calc(.x)))

但是即使如此，我仍在努力想出一种不会永远使用的解决方案。这对我的完整数据来说非常慢：

df %>% 
  mutate(bucket = map2_dbl(value, year,
                       ~cut(.x, breaks = unlist(df_quants$breaks[df_quants$year == .y]), include.lowest = T)))

这可能会快一点，但效果不佳：

df %>% 
  left_join(df_quants, by = "year") %>% 
  mutate(bucket = map2_dbl(value, breaks, ~cut(.x, breaks = unlist(.y), include.lowest = T)))

有关如何优化此设置的任何想法？强烈希望将其保存在dplyr / tidyverse宇宙中，但是如果我/app.data.table解决方案的速度要快得多的话，我也愿意开放。

Answer 1

如何使用dplyr的data.table和ntile？

library(dplyr)
library(data.table)
df <- as.data.table(df)
df[, bucket:=ntile(value,4), by=year]

您还可以在代码中使用ntile，但我发现data.table更快，更干净

使用分位数：

library(dplyr) 
library(data.table)
df <- as.data.table(df)
df[, bucket:= as.integer(cut(value, 
                            breaks = quantile(value, probs = c(0, .25, .5, .75, 1)), 
                            include.lowest = T)), by=year]

在R中按组有效地存储数据

1 个答案: