从面板数据中提取R数据

时间:2015-04-08 12:14:40

标签: r extraction panel-data

我在表中有很长的时间序列,我想从中提取值。

该小组每日观察但有些NA。我想从每个横截面中提取最后一个非NA值到一个新的时间序列。它应该转到相同的横截面,并用提取的值填充该横截面内的所有观察值。即,新的时间序列将包含堆叠的横截面,每个t都包含数据。

我已经为下面的结构做了一个例子,其中x是我想从中提取数据的系列,而NEW是我要创建的新系列。

xsection  t       x       NEW
01_00 2000-01-01 146,16 147,2
01_00 2000-01-02 147,2  147,2
01_00 2000-01-03 NA     147,2
02_00 2000-01-01 NA     148,3
02_00 2000-01-02 148,3  148,3
02_00 2000-01-03 NA     148,3
03_00 2000-01-01 145,9  147,4
03_00 2000-01-02 NA     147,4
03_00 2000-01-03 147,4  147,4

我还创建了一个pdata.frame,其中横截面和时间id在同一行中指定。

row.names              x
01_00-2000-01-01    146.16  
01_00-2000-01-02    147,2   
01_00-2000-01-03    NA  

我是R的新手所以感谢你的建议。

*编辑 表结构:

Classes ‘data.table’ and 'data.frame':  7212530 obs. of  6 variables:
 $ var01 : Factor w/ 1018 levels "01_00","01_01",..: 1 1 1 1 1 1 1 1 1 1 ...
 $ id01  : Factor w/ 7085 levels "1995-09-25","1995-09-26",..: 1 2 3 4 5 6 7 8 9 10 ...
 $ spot  : num  146 146 145 146 147 ...
 $ weekly: num  NA NA NA NA NA NA NA NA NA NA ...
 $ NEW   : num  241 241 241 241 241 ...
 $ NEW3  : num  241 241 241 241 241 ...
 - attr(*, ".internal.selfref")=<externalptr> 

1 个答案:

答案 0 :(得分:0)

你可以尝试

library(data.table)
setDT(df1)[order(t), NEW:=tail(x[!is.na(x)],1), xsection][]
#   xsection          t      x   NEW
#1:    01_00 2000-01-01 146,16 147,2
#2:    01_00 2000-01-02  147,2 147,2
#3:    01_00 2000-01-03     NA 147,2
#4:    02_00 2000-01-01     NA 148,3
#5:    02_00 2000-01-02  148,3 148,3
#6:    02_00 2000-01-03     NA 148,3
#7:    03_00 2000-01-01  145,9 147,4
#8:    03_00 2000-01-02     NA 147,4
#9:    03_00 2000-01-03  147,4 147,4

或者

library(dplyr)
df1 %>%
   group_by(xsection) %>%
   arrange(t) %>%
   mutate(NEW= tail(x[!is.na(x)],1))

或者

df1 %>%
    group_by(xsection) %>%
    mutate(NEW=  x[!is.na(x)][which.max(t[!is.na(x)])] )

更新

如果'xsection'组的所有'x'元素都是NA,我们可以修改第一个解决方案

 setDT(df1)[order(t), NEW:=if(all(is.na(x))) x[1L] 
                      else tail(x[!is.na(x)],1), xsection][]

数据

df1 <- structure(list(xsection = c("01_00", "01_00", "01_00", "02_00", 
"02_00", "02_00", "03_00", "03_00", "03_00"), t = structure(c(10957, 
10958, 10959, 10957, 10958, 10959, 10957, 10958, 10959), 
 class = "Date"), 
x = c("146,16", "147,2", NA, NA, "148,3", NA, "145,9", NA, 
"147,4")), .Names = c("xsection", "t", "x"), row.names = c(NA, 
-9L), class = "data.frame")