删除滞后== 0的成对行,并使用dplyr和链接计算百分比变化

时间:2019-06-26 16:09:01

标签: r dplyr pipe tibble

我正在处理一个非常大的小标题,并希望计算这些表随时间的增长百分比(从第一个条目到最后一个条目,而不是从max到min)。我最终还希望将任何更改为0的表存储到自己的列表/小标题,但将它们从原始输出表中删除。

数据集的示例如下:

  date    tbl_name    row_cnt
2/12/2019  first       247
6/5/2019   first       247
4/24/2019  second    3617138
6/5/2019   second    3680095
3/1/2019   third    62700321
6/5/2019   third    63509189
4/24/2019  fourth       2
6/5/2019   fourth       2
...          ...       ...

,该表的预期输出将是两个表,如下所示:

tbl_name   pct_change
second       1.74
third        1.29
...          ...


tbl_name
 first
 fourth
  ...

到目前为止,我已经能够使用以下方法成功地排列观察结果,将其分组并成功过滤每个组的第一个和最后一个实例:

test_df <- df %>% 
  arrange(l.fully_qualf_tbl_nm) %>% 
  group_by(l.fully_qualf_tbl_nm) %>%
  filter(row_number()==1 | row_number()==n()) %>%
  mutate(pct_change = ((l.row_cnt/lag(l.row_cnt) - 1) * 100)) %>% 
  select(l.run_dt, l.fully_qualf_tbl_nm, pct_change) %>% 
  drop_na(pct_change)

但是我的计算

mutate(pct_change = ((l.row_cnt/lag(l.row_cnt) - 1) * 100)) %>%

无法产生正确的结果。我从另一篇讨论%-change的SO帖子中提取了pct-change计算值,但我从人工计算中得到了不同的数字。

例如,我得到“ second = 3.61”,但手工计算(以及excel)得到1.74。我也得到了“第三= 0.831”,而不是1.29。我的猜测是,我没有正确指定仅希望对每个组(每两行一对)进行计算。我想知道我应该分别计算滞后还是只是错误地实现了lag()?

接下来,我认为新表将以某种方式创建

if return value of filter(row_number()==1 | row_number()==n()) %>% == 0, append to list/table

但老实说,我不知道如何执行此操作。我想知道是否应该做一个单独的功能,然后将其分配给新变量。

1 个答案:

答案 0 :(得分:1)

df <- read.table(
  header = T, 
  stringsAsFactors = F,
  text = " date    tbl_name    row_cnt
2/12/2019  first       247
6/5/2019   first       247
4/24/2019  second    3617138
6/5/2019   second    3680095
3/1/2019   third    62700321
6/5/2019   third    63509189
4/24/2019  fourth       2
6/5/2019   fourth       2")

# Wrapping in parentheses assigns the output to test_df and also prints it
(test_df <- df %>% 
    group_by(tbl_name) %>%
    mutate(pct_change = ((row_cnt/lag(row_cnt) - 1) * 100)) %>% 
    ungroup() %>%
    filter(!is.na(pct_change)) %>%  # Filter after pct_change calc, since we want to 
                                    # include change from 1:2  and from n-1:n
    select(tbl_name, row_cnt, pct_change))

# A tibble: 4 x 3
  tbl_name  row_cnt pct_change
  <chr>       <int>      <dbl>
1 first         247       0   
2 second    3680095       1.74
3 third    63509189       1.29
4 fourth          2       0  

要拆分成两个表,似乎可以做到:

first_tbl <- test_df %>% filter(pct_change != 0) # or "pct_change > 0" for pos growth
second_tbl <- test_df %>% filter(pct_change == 0)