我有一些看起来有点像这样的数据
ID year var1 var2
1 1 1 NA 0.5632595
2 1 2 0.7546097 0.5609945
3 1 3 -0.4241935 NA
4 1 4 0.4056908 0.5890453
5 2 1 -0.8049815 0.3504281
6 2 2 0.8049250 0.4817798
7 2 3 NA NA
8 2 4 -0.2969572 0.4985812
9 3 1 0.2909882 0.8504004
10 3 2 1.0957994 0.7365867
11 3 3 -0.2884501 0.1454566
12 3 4 0.4999331 0.7978971
tmp <- structure(list(ID = c(1, 1, 1, 1, 2, 2, 2, 2, 3, 3, 3, 3), year = c(1L,
2L, 3L, 4L, 1L, 2L, 3L, 4L, 1L, 2L, 3L, 4L), var1 = c(NA, 0.754609745086276,
-0.424193528509845, 0.4056908200679, -0.804981499494056, 0.804924965958355,
NA, -0.2969572255706, 0.29098820839828, 1.09579940195461, -0.288450063674258,
0.499933144375212), var2 = c(0.563259549904615, 0.560994466999546,
NA, 0.589045349741355, 0.350428087171167, 0.481779781170189,
NA, 0.498581154504791, 0.850400378694758, 0.73658673488535, 0.145456639816985,
0.797897139331326)), .Names = c("ID", "year", "var1", "var2"), row.names = c(NA,
-12L), class = "data.frame")
我希望能够做到的是,每个列的每个ID都符合线性模型,即
tmp %>% group_by(ID) %>% lm(var1 ~ year, data = .)
tmp %>% group_by(ID) %>% lm(var2 ~ year, data = .)
然后我会使用这些模型的系数来填充每列中缺少的(NA
)值。所以对于ID 1和变量1,我会有这样的模型:
coefs_id1_var1 <- coef(lm(var1 ~ year, data = tmp[tmp$ID == 1, ]))
coefs_id1_var1[1] + coefs_id1_var1[2] * tmp[1, 2]
[1] -0.1341153
因此ID 1变量1的缺失值将替换为-0.134
。我的问题是我有很多变量,我希望这样做。我已经考虑了ID上的lapply
和split
,或者可能mutate_each
但是我还没有能够有效地做到这一点。有什么想法吗?
我目前的解决方案是
fillWithLinMod <- function(var, df) {
mod <- as.formula(paste0(var, " ~ year"))
coefs <- coef(lm(mod, data = df))
for (i in 1:nrow(df)) {
if (is.na(df[i, var])) {
df[i, var] <- coefs[1] + df[i, "year"] * coefs[2]
}
}
df[, var][[1]]
}
(注意我的df是tibble
,这就是我最后有子集的原因)
然后我可以使用以下
tmp$var1 <- do.call("c", lapply(split(tmp, tmp$ID), function(x) fillWithLinMod("var1", x)))
答案 0 :(得分:1)
这是一个可以在整个子集中应用的辅助功能。传入data.frame和要填充的变量名称的字符向量。它假设你的函数中有一个名为'year'的变量。
fill_missing_with_lm <- function(dat, vars) {
for(i in seq_along(vars)) {
mod <- as.formula(paste0(vars[i], " ~ year"))
mod <- lm(mod, dat)
misses <- which(is.na(dat[[ vars[i] ]]))
for(j in misses) {
newdat <- data.frame(year = dat$year[j])
dat[[ vars[i] ]][j] <- predict(mod, newdat)
}
}
return(dat)
}
然后你可以将它应用于我真正喜欢的这个工作流程(嵌套的data.frame)。我发现它通常有助于处理数据,你想要对数据行的子集做一些细微差别。基本原则是group_by() %>% nest
。然后使用purrr::map()
将细微操作应用于每个嵌套的data.frames。
library(dplyr)
library(tidyr)
library(purrr)
filled <- tmp %>%
group_by(ID) %>%
nest %>%
mutate(filled = map(data, fill_missing_with_lm, vars = c('var1', 'var2'))) %>%
select(ID, filled) %>%
unnest