对时间序列数据进行子集化和执行计算,避免循环

时间:2013-07-29 18:50:52

标签: r time-series subset

我试图弄清楚如何在不循环的情况下执行以下操作。我有一个时间,研究地点和流程的融化数据集,如下所示:

  

datetime site flow
  6/1/2009 00:00 EBT NA
  6/2/2009 01:00 EBT NA
  6/3/2009 02:00 EBT 0.1
  6/4/2009 03:00 EBT NA
  6/5/2009 04:00 EBT NA
  6/1/2009 00:00 MUT 0.4
  6/2/2009 01:00 MUT 0.3
  6/3/2009 02:00 MUT 0.2
  6/4/2009 03:00 MUT NA
  6/5/2009 04:00 MUT NA

我需要按站点对其进行子集化,然后对于至少有两个后续流量测量的时间段我需要执行几个计算,*例如当前和先前测量的平均值。

技巧是我需要在每组连续测量中执行​​平均值,即如果后两者中的每一个连续三行,我需要该测量的平均值和前一个测量值。我已经在示例数据框中添加了一个目标列,其中包含我想要获得的结果。*

我想得到一个类似的数据框,其中包含日期时间,网站和计算结果。每个站点都有一个全时系列。

感谢您的帮助!

数据生成器:

structure(list(datetime = structure(c(1167627600, 1167717600, 
1167807600, 1167897600, 1167987600, 1167627600, 1167717600, 1167807600, 
1167897600, 1167987600, 1168077600, 1168167600, 1168257600, 1168347600, 
1168437600), class = c("POSIXct", "POSIXt"), tzone = ""), site = structure(c(1L, 
1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L), .Label = c("EBT", 
"MUT"), class = "factor"), flow = c(NA, 0.1, NA, NA, NA, NA, 
0.4, 0.2, NA, NA, 0.4, 0.2, 0.1, NA, NA), goal = c(NA, NA, NA, 
NA, NA, NA, NA, 0.3, NA, NA, NA, 0.3, 0.15, NA, NA)), .Names = c("datetime", 
"site", "flow", "goal"), row.names = c(NA, -15L), class = "data.frame")

2 个答案:

答案 0 :(得分:1)

这会将您的数据框分开site,然后仅过滤flow中包含两个或更多连续非NA值的行:

by(sample, sample$site, function(d) d[with(rle(!is.na(d$flow)), rep(values & lengths>=2, lengths)),])

然后,您可以根据需要使用内部函数进行计算。

例如,如果要将均值添加为新列(假设您未定义时需要NA),可以使用:

f <- function(d)
{
    x <- with(rle(!is.na(d$flow)), rep(values & lengths>=2, lengths))

    within(d, {avg <- NA; avg[x] <- mean(d[x,"flow"])})
}

b <- by(sample, sample$site, f)

Reduce(rbind, b)

结果:

              datetime site flow avg
1  2009-06-01 01:00:00  EBT   NA  NA
2  2009-06-02 02:00:00  EBT   NA  NA
3  2009-06-03 03:00:00  EBT  0.1  NA
4  2009-06-04 04:00:00  EBT   NA  NA
5  2009-06-05 05:00:00  EBT   NA  NA
6  2009-06-01 01:00:00  MUT  0.4 0.3
7  2009-06-02 02:00:00  MUT  0.3 0.3
8  2009-06-03 03:00:00  MUT  0.2 0.3
9  2009-06-04 04:00:00  MUT   NA  NA
10 2009-06-05 05:00:00  MUT   NA  NA

编辑:要获得当前流量测量值与前一个测量值之间的平均值,您可以使用:

f <- function(d)
{
    within(d, avg <- (flow+c(NA,head(flow,-1)))/2)
}

Reduce(rbind, by(sample, sample$site, f))

请注意,具有单个度量的个案会自动设置为NA。新结果:

              datetime site flow goal  avg
1  2007-01-01 03:00:00  EBT   NA   NA   NA
2  2007-01-02 04:00:00  EBT  0.1   NA   NA
3  2007-01-03 05:00:00  EBT   NA   NA   NA
4  2007-01-04 06:00:00  EBT   NA   NA   NA
5  2007-01-05 07:00:00  EBT   NA   NA   NA
6  2007-01-01 03:00:00  MUT   NA   NA   NA
7  2007-01-02 04:00:00  MUT  0.4   NA   NA
8  2007-01-03 05:00:00  MUT  0.2 0.30 0.30
9  2007-01-04 06:00:00  MUT   NA   NA   NA
10 2007-01-05 07:00:00  MUT   NA   NA   NA
11 2007-01-06 08:00:00  MUT  0.4   NA   NA
12 2007-01-07 09:00:00  MUT  0.2 0.30 0.30
13 2007-01-08 10:00:00  MUT  0.1 0.15 0.15
14 2007-01-09 11:00:00  MUT   NA   NA   NA
15 2007-01-10 12:00:00  MUT   NA   NA   NA

答案 1 :(得分:0)

Plyr函数是通过某些变量拆分数据帧的好方法,这是您需要做的。

我想到了两种处理向量间隔的方法:首先使用向量乘法(对于数据的平均值),然后使用向量化函数(用于生成标签)。不过,他们都做了几乎相同的事情。

library(reshape2)
library(plyr)
library(lubridate)

meanBetween <- function(x){
  l <- length(x)
  diag(outer(x[1:(l-1)], x[2:l], "+"))/2
}

output <- ddply(sample, .(site), function(df){
  df <- df[order(df$datetime, decreasing=FALSE), ]
  result <- meanBetween(df$flow)
  names(result) <- Reduce(c, (mapply(as.interval,
                                     df$datetime[-1],
                                     df$datetime[1:(length(df$datetime)-1)],
                                     SIMPLIFY=FALSE)))
  result
})

melt(output) # to make it look nicer