基于分组提取数据帧中的最新非NA值

时间:2019-03-05 04:52:41

标签: r dataframe

我有一个如下数据框:

 Year   Day  ID   V1  V2 .... 
 2003   35  1102  3   6
 2003   35  1103  5   NA
 2003   35  1104  8   100
 .....
 2003   40  1102  NA  8
 2003   40  1103  NA  10
 2003   40  1104  9   NA
 .....
 .....
 2018   49  1104  5   NA
 .....
 2018   50  1102  3   6
 2018   50  1103  7   NA
 2018   50  1104  NA  100

我想构建一个数据框,该数据框针对Year和ID的每种组合提取V1,V2中的最新非NA值(“天”列的高值)...基于上述数据集,对于Year = 2018和ID = 1104,我想提取V1 = 5(第49天)和V2 = 100(第50天)。如果该Year和ID组合的所有值均为NA,那么我希望它返回NA。

2 个答案:

答案 0 :(得分:1)

我们可以创建一个函数,为每个Day列提供基于Vn的最新非NA值

get_last_non_NA_value <- function(x) {
   x[which.max(cumsum(!is.na(x)))]
}

,然后对每个YearID应用该功能

library(dplyr)

df %>%
  group_by(Year, ID) %>%
  summarise_at(vars(V1:V2), funs(get_last_non_NA_value(.[order(Day)])))


#    Year  ID    V1    V2
#  <int> <int> <int> <int>
#1  2003  1102     3     8
#2  2003  1103     5    10
#3  2003  1104     9   100
#4  2018  1102     3     6
#5  2018  1103     7    NA
#6  2018  1104     5   100

编辑

如果我们还想为每个值提取对应的Day,则可以更改函数以逗号分隔的字符串形式返回两个值

get_last_non_NA_value <- function(x, y) {
   ind <- which.max(cumsum(!is.na(x[order(y)])))
   paste(x[ind], y[ind], sep = ",")
}

,然后使用cSplit将这些逗号分隔的值分成不同的列。

library(dplyr)
library(splitstackshape)
cols <- c("V1", "V2")

df %>%
 group_by(Year, ID) %>%
 summarise_at(cols, funs(get_last_non_NA_value(., Day))) %>%
 cSplit(cols) %>%
 rename_at(vars(contains("_1")), funs(sub("_1", "_last_value", .))) %>%
 rename_at(vars(contains("_2")), funs(sub("_2", "_days", .)))


#   Year   ID V1_last_value V1_days V2_last_value V2_days
#1: 2003 1102             3      35             8      40
#2: 2003 1103             5      35            10      40
#3: 2003 1104             9      40           100      35
#4: 2018 1102             3      50             6      50
#5: 2018 1103             7      50            NA      50
#6: 2018 1104             5      49           100      50

请注意,rename_at部分重命名了列以更好地了解其所具有的值,如果您不希望重命名列,则可以跳过该部分。

数据

df <- structure(list(Year = c(2003L, 2003L, 2003L, 2003L, 2003L, 2003L, 
2018L, 2018L, 2018L, 2018L), Day = c(35L, 35L, 35L, 40L, 40L, 
40L, 49L, 50L, 50L, 50L), ID = c(1102L, 1103L, 1104L, 1102L, 
1103L, 1104L, 1104L, 1102L, 1103L, 1104L), V1 = c(3L, 5L, 8L, 
NA, NA, 9L, 5L, 3L, 7L, NA), V2 = c(6L, NA, 100L, 8L, 10L, NA, 
NA, 6L, NA, 100L)), .Names = c("Year", "Day", "ID", "V1", "V2"
), class = "data.frame", row.names = c(NA, -10L))

答案 1 :(得分:0)

您可以使用dplyr 假设您想要V1和V2的最大值

library(dplyr)
df %>%
    group_by(Year, ID) %>%
    summarise(Day = max(Day, na.rm = TRUE),
              V1 = max(V1, na.rm = TRUE),
              V2 = max(V2, na.rm = TRUE))

如果对于V1和V2,您要先使用非NA,然后

df %>%
    group_by(Year, ID) %>%
    summarise(Day = max(Day, na.rm = TRUE),
              V1 = first(setdiff(V1, NA)),
              V2 = first(setdiff(V1, NA)))