示例数据:
set.seed(1)
df <- data.frame(years=sort(rep(2005:2010, 12)),
months=1:12,
value=c(rnorm(60),NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA))
head(df)
years months value
1 2005 1 -0.6264538
2 2005 2 0.1836433
3 2005 3 -0.8356286
4 2005 4 1.5952808
5 2005 5 0.3295078
6 2005 6 -0.8204684
请告诉我,我如何将df $值中的NA替换为其他月份的中位数? “value”必须包含同月所有先前值的中值。也就是说,如果当前月份为5月,则“值”必须包含5月份所有先前值的中值。
答案 0 :(得分:10)
或者ave
df <- data.frame(years=sort(rep(2005:2010, 12)),
months=1:12,
value=c(rnorm(60),NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA))
df$value[is.na(df$value)] <- with(df, ave(value, months,
FUN = function(x) median(x, na.rm = TRUE)))[is.na(df$value)]
由于答案太多,让我们看看哪个答案最快。
plyr2 <- function(df){
medDF <- ddply(df,.(months),summarize,median=median(value,na.rm=TRUE))
df$value[is.na(df$value)] <- medDF$median[match(df$months,medDF$months)][is.na(df$value)]
df
}
library(plyr)
library(data.table)
DT <- data.table(df)
setkey(DT, months)
benchmark(ave = df$value[is.na(df$value)] <-
with(df, ave(value, months,
FUN = function(x) median(x, na.rm = TRUE)))[is.na(df$value)],
tapply = df$value[61:72] <-
with(df, tapply(value, months, median, na.rm=TRUE)),
sapply = df[61:72, 3] <- sapply(split(df[1:60, 3], df[1:60, 2]), median),
plyr = ddply(df, .(months), transform,
value=ifelse(is.na(value), median(value, na.rm=TRUE), value)),
plyr2 = plyr2(df),
data.table = DT[,value := ifelse(is.na(value), median(value, na.rm=TRUE), value), by=months],
order = "elapsed")
test replications elapsed relative user.self sys.self user.child sys.child
3 sapply 100 0.209 1.000000 0.196 0.000 0 0
1 ave 100 0.260 1.244019 0.244 0.000 0 0
6 data.table 100 0.271 1.296651 0.264 0.000 0 0
2 tapply 100 0.271 1.296651 0.256 0.000 0 0
5 plyr2 100 1.675 8.014354 1.612 0.004 0 0
4 plyr 100 2.075 9.928230 2.004 0.000 0 0
我敢打赌data.table是最快的。
[Matthew Dowle]这里定时的任务最多需要0.02秒(2.075 / 100)。 data.table
认为这是微不足道的。请尝试将replications
设置为1
并增加数据大小。或者3次运行中最快的时间也是一个常见的经验法则。这些链接中有更详细的讨论:
答案 1 :(得分:9)
您想使用测试is.na
功能:
df$value[is.na(df$value)] <- median(df$value, na.rm=TRUE)
表示df$value
为NA
的所有值,请将其替换为右侧。您需要na.rm=TRUE
件,否则median
功能将返回NA
按月执行此操作,有很多选择,但我认为plyr
具有最简单的语法:
library(plyr)
ddply(df,
.(months),
transform,
value=ifelse(is.na(value), median(value, na.rm=TRUE), value))
您也可以使用data.table
。如果您的数据很大,这是一个特别好的选择:
library(data.table)
DT <- data.table(df)
setkey(DT, months)
DT[,value := ifelse(is.na(value), median(value, na.rm=TRUE), value), by=months]
还有很多其他方法,但有两种方式!
答案 2 :(得分:4)
这是我能想到的最强大的解决方案。它可确保正确订购年份,并在您有多年缺失值的情况下正确计算前几个月的中位数。
# first, reshape your data so it is years by months:
library(reshape2)
tmp <- dcast(years ~ months, data=df) # convert data to years x months
tmp <- tmp[order(tmp$years),] # order years
# now calculate the running median on each month
library(caTools)
# function to replace NA with rolling median
tmpfun <- function(x) {
ifelse(is.na(x), runquantile(x, k=length(x), probs=0.5, align="right"), x)
}
# apply tmpfun to each column and convert back to data.frame
tmpmed <- as.data.frame(lapply(tmp, tmpfun))
# reshape back to long and convert 'months' back to integer
res <- melt(tmpmed, "years", variable.name="months")
res$months <- as.integer(gsub("^X","",res$months))
答案 3 :(得分:3)
坚持使用基础R,您还可以尝试以下方法:
medians = sapply(split(df[1:60, 3], df[1:60, 2]), median)
df[61:72, 3] = medians
答案 4 :(得分:3)
使用dplyr
还有另一种方法可以做到这一点。
如果要用中位数替换所有列,请执行:
library(dplyr)
df %>%
mutate_all(~ifelse(is.na(.), median(., na.rm = TRUE), .))
如果要替换列的子集(例如&#34;值&#34;在OP的示例中),请执行以下操作:
df %>%
mutate_at(vars(value), ~ifelse(is.na(.), median(., na.rm = TRUE), .))
答案 5 :(得分:1)
这是一种使用plyr
的方式,它不是很漂亮,但我认为它可以做你想要的:
library("plyr")
# Make a separate dataframe with month as first column and median as second:
medDF <- ddply(df,.(months),summarize,median=median(value,na.rm=TRUE))
# Replace `NA` values in `df$value` with medians from the second data frame
# match() here ensures that the medians are entered in the correct elements.
df$value[is.na(df$value)] <- medDF$median[match(df$months,medDF$months)][is.na(df$value)]