使用dplyr按组替换NA与上一个或下一个值

时间:2016-10-14 10:22:46

标签: r dplyr missing-data zoo

我有一个按日期降序排列的数据框。

ps1 = data.frame(userID = c(21,21,21,22,22,22,23,23,23), 
             color = c(NA,'blue','red','blue',NA,NA,'red',NA,'gold'), 
             age = c('3yrs','2yrs',NA,NA,'3yrs',NA,NA,'4yrs',NA), 
             gender = c('F',NA,'M',NA,NA,'F','F',NA,'F') 
)

我希望用之前的值来推算(替换)NA值 并按用户ID分组 如果userID的第一行具有NA,则替换为该用户ID组的下一组值。

我正在尝试使用类似这样的dplyr和zoo软件包......但它无法正常工作

cleanedFUG <- filteredUserGroup %>%
 group_by(UserID) %>%
 mutate(Age1 = na.locf(Age), 
     Color1 = na.locf(Color), 
     Gender1 = na.locf(Gender) ) 

我需要这样的结果:

                      userID color  age gender
                1     21  blue 3yrs      F
                2     21  blue 2yrs      F
                3     21   red 2yrs      M
                4     22  blue 3yrs      F
                5     22  blue 3yrs      F
                6     22  blue 3yrs      F
                7     23   red 4yrs      F
                8     23   red 4yrs      F
                9     23  gold 4yrs      F

5 个答案:

答案 0 :(得分:32)

require(tidyverse) #fill is part of tidyr

ps1 %>% 
  group_by(userID) %>% 
  fill(color, age, gender) %>% #default direction down
  fill(color, age, gender, .direction = "up")

这给了你:

Source: local data frame [9 x 4]
Groups: userID [3]

  userID  color    age gender
   <dbl> <fctr> <fctr> <fctr>
1     21   blue   3yrs      F
2     21   blue   2yrs      F
3     21    red   2yrs      M
4     22   blue   3yrs      F
5     22   blue   3yrs      F
6     22   blue   3yrs      F
7     23    red   4yrs      F
8     23    red   4yrs      F
9     23   gold   4yrs      F

答案 1 :(得分:2)

直接在整个data.frame上使用zoo::na.locf将填充NA,无论userID组如何。遗憾的是,dplyr的分组对na.locf函数没有影响,这就是我分裂的原因:

library(dplyr); library(zoo)
ps1 %>% split(ps1$userID) %>% 
  lapply(function(x) {na.locf(na.locf(x), fromLast=T)}) %>% 
  do.call(rbind, .)
####      userID color  age gender
#### 21.1     21  blue 3yrs      F
#### 21.2     21  blue 2yrs      F
#### 21.3     21   red 2yrs      M
#### 22.4     22  blue 3yrs      F
#### 22.5     22  blue 3yrs      F
#### 22.6     22  blue 3yrs      F
#### 23.7     23   red 4yrs      F
#### 23.8     23   red 4yrs      F
#### 23.9     23  gold 4yrs      F

它的作用是首先将数据拆分为3个data.frames,然后我应用第一次插补(向下),然后向上使用lapply中的匿名函数,最后使用{{1将data.frames重新组合在一起。你有预期的输出。

答案 2 :(得分:2)

将@agenis方法与na.locf()结合使用purrr,您可以这样做:

library(purrr)
library(zoo)

ps1 %>% 
  slice_rows("userID") %>% 
  by_slice(function(x) { 
    na.locf(na.locf(x), fromLast=T) }, 
    .collate = "rows") 

答案 3 :(得分:1)

几年下来,我发现情况已经改变。 使用@StevenBeaupré的方法,

1)添加na.rm=F确保没有行被删除/排除。 2)slide_rows()函数可以在purrrlyr包中找到。

library(purrrlyr)
library(zoo)

ps1 %>% 
  slice_rows("userID") %>% 
  by_slice(function(x) { 
    na.locf(na.locf(x, na.rm=F), fromLast=T, na.rm=F) }, 
    .collate = "rows") 

答案 4 :(得分:0)

我编写了此函数,它肯定比填充更快,并且可能比na.locf更快:

fill_NA <- function(x) {
  which.na <- c(which(!is.na(x)), length(x) + 1)
  values <- na.omit(x)

  if (which.na[1] != 1) {
    which.na <- c(1, which.na)
    values <- c(values[1], values)
  }

  diffs <- diff(which.na)
  return(rep(values, times = diffs))
}