通过线性插值查找缺失值(时间序列)

时间:2019-01-14 10:54:42

标签: r dataframe time-series linear-interpolation

我将这些data.frame称为df1,它们代表三年中的每个月(36行x 4列):

       Year Month       v1       v2       v3
1  2015     1 15072.73 2524.102 17596.83
2  2015     2 15249.54 2597.265 17846.80
3  2015     3 15426.35 2670.427 18096.78
4  2015     4 15603.16 2743.590 18346.75
5  2015     5 15779.97 2816.752 18596.72
6  2015     6 15956.78 2889.915 18846.69
7  2015     7 16133.59 2963.077 19096.67
8  2015     8 16310.40 3036.240 19346.64
9  2015     9 16487.21 3109.402 19596.61
10 2015    10 16664.02 3182.565 19846.58
11 2015    11 16840.83 3255.727 20096.56
12 2015    12 17017.64 3328.890 20346.53
13 2016     1 17018.35 3328.890 20347.24
14 2016     2 17019.05 3328.890 20347.94
15 2016     3 17019.76 3328.890 20348.65
16 2016     4 17020.47 3328.890 20349.36
17 2016     5 17021.17 3328.890 20350.06
18 2016     6 17021.88 3328.890 20350.77
19 2016     7 17022.58 3328.890 20351.47
20 2016     8 17023.29 3328.890 20352.18
21 2016     9 17024.00 3328.890 20352.89
22 2016    10 17024.70 3328.890 20353.59
23 2016    11 17025.41 3328.890 20354.30
24 2016    12 17026.12 3328.890 20355.01
25 2017     1 17023.94 3328.890 20352.83
26 2017     2 17021.76 3328.890 20350.65
27 2017     3 17019.58 3328.890 20348.47
28 2017     4 17017.40 3328.890 20346.29
29 2017     5 17015.22 3328.890 20344.11
30 2017     6 17013.04 3328.890 20341.93
31 2017     7 17010.86 3328.890 20339.75
32 2017     8 17008.68 3328.890 20337.57
33 2017     9 17006.50 3328.890 20335.39
34 2017    10 17004.32 3328.890 20333.21
35 2017    11 17002.14 3328.890 20331.03
36 2017    12 17002.14 3328.890 20331.03

我想对所有这些值进行插值,以便获得每个月所有天的插值。它们位于称为data.frame的{​​{1}}中(1096 x 1)。

df2看起来像:

df2

通过这种方式,我应该获得名为 seq(start, end, by = "days") 1 2015-01-01 2 2015-01-02 3 2015-01-03 4 2015-01-04 5 2015-01-05 6 2015-01-06 的1096行(365天(2015)+ 366天(2016)+ 365天(2017))和4列的输出data.frame

我尝试使用results

approx

但是它返回:

results <- as.data.frame(approx(x = df1, y = NULL, xout = df2 ,
                             method = "linear"))

感谢帮助!

2 个答案:

答案 0 :(得分:2)

出于完整性考虑,以下是使用data.table的解决方案。

OP提供了2015年至2017年每个月的数据点。他尚未定义值所属的月份。此外,他还没有指定期望的插值类型。

因此,给定的数据如下(为简单起见,仅显示v1):

enter image description here

请注意,故意将每月值分配给该月的第一天。

different ways可以插值数据。我们将看看其中两个。

逐段常量插值

由于每月仅提供一个数据点,因此我们可以安全地假设该值代表相应月份的每一天:

enter image description here

(标有geom_step()

对于插值,使用基本R函数approx()。在approx()的帮助下,v1应用于所有值列v2v3lapply()

但是首先,我们需要将年份-月份转换为完整的日期(包括日期)。本月的第一天是经过精心选择的。现在,df1中的数据点被归因于日期2015-01-01至2017-12-01。请注意,2017-12-31或2018-01-01没有给定值。

library(data.table)
library(magrittr)
# create date (assuming the 1st of month)
setDT(df1)[, date := as.IDate(paste(Year, Month, 1, sep = "-"))]
# create sequence of days covering the whole period
ds <- seq(as.IDate("2015-01-01"), as.IDate("2017-12-31"), by = "1 day")
# perform interpolation
cols = c("v1", "v2", "v3")
results <- df1[, c(.(date = ds), lapply(.SD, function(y) 
  approx(x = date, y = y, xout = ds, method = "constant", rule = 2)$y)), 
  .SDcols = cols]
results
            date       v1       v2       v3
   1: 2015-01-01 15072.73 2524.102 17596.83
   2: 2015-01-02 15072.73 2524.102 17596.83
   3: 2015-01-03 15072.73 2524.102 17596.83
   4: 2015-01-04 15072.73 2524.102 17596.83
   5: 2015-01-05 15072.73 2524.102 17596.83
  ---                                      
1092: 2017-12-27 17002.14 3328.890 20331.03
1093: 2017-12-28 17002.14 3328.890 20331.03
1094: 2017-12-29 17002.14 3328.890 20331.03
1095: 2017-12-30 17002.14 3328.890 20331.03
1096: 2017-12-31 17002.14 3328.890 20331.03

通过指定rule = 2,告知approx()使用最后给定的值(2017-12-01的值)来完成直到2017-12-31的序列。

结果可以绘制在给定的数据点之上。

enter image description here

逐段线性插值

要绘制线段,必须给出两点。为了绘制36个间隔(月)的线段,我们需要37个数据点。不幸的是,OP仅给出了36个数据点。我们将需要一个2018年1月1日的附加数据点来为上个月画一条线。

在这种情况下,一种选择是假设上个月的值是恒定的。指定approx()method = "linear"时,rule = 2便会这样做。

library(data.table)
library(magrittr)
# create date (assuming the 1st of month)
setDT(df1)[, date := as.IDate(paste(Year, Month, 1, sep = "-"))]
# create sequence of days covering the whole period
ds <- seq(as.IDate("2015-01-01"), as.IDate("2017-12-31"), by = "1 day")
# perform interpolation
cols = c("v1", "v2", "v3")
results <- df1[, c(.(date = ds), lapply(.SD, function(y) 
  approx(x = date, y = y, xout = ds, method = "linear", rule = 2)$y)), 
  .SDcols = cols]
results

            date       v1       v2       v3
   1: 2015-01-01 15072.73 2524.102 17596.83
   2: 2015-01-02 15078.43 2526.462 17604.89
   3: 2015-01-03 15084.14 2528.822 17612.96
   4: 2015-01-04 15089.84 2531.182 17621.02
   5: 2015-01-05 15095.54 2533.542 17629.08
  ---                                      
1092: 2017-12-27 17002.14 3328.890 20331.03
1093: 2017-12-28 17002.14 3328.890 20331.03
1094: 2017-12-29 17002.14 3328.890 20331.03
1095: 2017-12-30 17002.14 3328.890 20331.03
1096: 2017-12-31 17002.14 3328.890 20331.03

enter image description here

在样本数据集中,2016和2017的值相当平坦。无论如何,上个月的恒定插值并不引人注目。

答案 1 :(得分:1)

您快到了。只需添加一些细节即可。

首先,我有一个印象,您从数据中省略了年份值。但是,使用日期时具有年份值很重要。我想,您的数据应如下所示:

     Year Month   v1      v2          v3
1     2015     1 15072.73 2524.102   17596.83
2     2015     2 15249.54 2597.265   17846.80
3     2015     3 15426.35 2670.427   18096.78
4     2015     4 15603.16 2743.590   18346.75
5     2015     5 15779.97 2816.752   18596.72
6     2015     6 15956.78 2889.915   18846.69
7     2015     7 16133.59 2963.077   19096.67
8     2015     8 16310.40 3036.240   19346.64
9     2015     9 16487.21 3109.402   19596.61
10    2015    10 16664.02 3182.565   19846.58
11    2015    11 16840.83 3255.727   20096.56
12    2015    12 17017.64 3328.890   20346.53

另一个问题是,df1给出的每月值隐含在每月的哪一天。假设它是该月的第一天。然后可以得到解决方案

data_names <- c("v1", "v2", "v3")
res_set <- lapply(
    function(var_name) approx(
        x = as.Date(paste(df1$Year, df1$Month, "01", sep = "-")), 
        y = df1[, var_name], xout = df2), 
    X = data_names)
# name each item of the list to make further work simpler
names(res_set) <- data_names
print(str(res_set))

请注意,lapply()的结果是一个列表。需要一些额外的工作来获得理想的格式。如果所有变量都需要一个数据框,则可以使用:

res_df <- data.frame(x = df2, lapply(res_set,`[[`,  "y"))  

如果您希望使用两列数据dframe列表,则可以选择以下选项:

res_list <- lapply(res_set, as.data.frame)