Question

我正在尝试预测一些时间序列数据，并且我使用了三种不同类型的模型进行预测。现在我已经记下了每个系列的模型的性能，这是由一个唯一的id所指出的。数据格式如下：

ID MAPE_Model_Residual MAPE_Validation_Residual Diff_Residual
1    8355_0_32167            83.26487                 77.86192    5.40295030
2    8355_0_32168            93.44941                 93.51703    0.06761914
3    8355_0_32169            93.46655                 93.52344    0.05688714
4 8355_3936_32170            88.94154                 84.96923    3.97231385
5 8355_3937_32170            74.37984                 83.19228    8.81243847
6 8355_3940_32170            74.06081                 52.38760   21.67321223

  MAPE_Model_Fitted MAPE_Validation_Fitted Diff_Fitted MAPE_Model_Arima MAPE_Validation_Arima
          81.87216               74.91174  6.96041639         83.96876              80.19690
          93.36049               93.33518  0.02530898         92.93121              90.73525
         93.37859               93.33369  0.04489972         92.91448              90.74218
         88.24597               85.42486  2.82111289         88.69834              83.08940
          74.43546               83.19509  8.75962941         73.69333              74.74214
6          73.77239               52.97098 20.80140874         75.56103              63.57248

  Diff_Arima
   3.771864
   2.195963
   2.172300
   5.608939
   1.048811
  11.988552

每个模型的准确性，交叉验证准确性和差异有三种模型。我想确定一个对应于唯一id的模型，该id具有最高和差异最低的精度。像一个小例子是

Model1                Model2           Model3

M1_2 M1_diff M2_1 M2_2 M2_diff M3_1 M3_2 M3_diff

A 55.2 60.8  5.6    66.7  69.8  3.1     58.5 60.3  1.8

B 56.8 55.4  1.4    62.8  63.9  1.1   65.7 69.8  4.1

C 52.3 54.3  2.0    53.8  55.9  1.1   56.7 57.9  1.2

我必须找到哪种型号1,2,3最适合A，B，C中的每一种。标准是 Mi_1和Mi_2最高，Mi_diff最低。与id B一样，它可能是第二个模型。我无法想出任何通用算法来做到这一点。数据相当大有几乎1000个独特的ID，不能手动一个。我在想可能有一些简单的解决方案，我没有得到。有人可以帮忙吗？我正在使用R进行计算。

Answer 1

您可以计算将三个值合并为一个的分数函数，然后选择最大化分数的模型（按ID）。由于你的所有价值观都是积极的，作为评分函数我将采用这个：

 score = product(acc_1,acc_2)/diff

这里我将如何进行：

首先，我以长格式重新整形数据（更容易通过（id，model）继续）：

library(plyr)
library(reshape2)
melted  <- melt(dat)
melted$model <- sub('_.*','',melted$variable)
head(melted)
# id variable value model
# 1  A     M1_1  55.2    M1
# 2  B     M1_1  56.8    M1
# 3  C     M1_1  52.3    M1
# 4  A     M1_2  60.8    M1
# 5  B     M1_2  55.4    M1
# 6  C     M1_2  54.3    M1

然后对于每个（id，model），我计算得分：

ddply(melted,.(id,model),summarise,
      score = prod(value[!grepl('diff',variable)])/ value[grepl('diff',variable)])


# id model     score
# 1  A    M1  599.3143
# 2  A    M2 1501.8258
# 3  A    M3 1959.7500
# 4  B    M1 2247.6571
# 5  B    M2 3648.1091
# 6  B    M3 1118.5024
# 7  C    M1 1419.9450
# 8  C    M2 2734.0182
# 9  C    M3 2735.7750

最后，对于每个id，我选择最大化得分的模型：

ddply(scored,.(id),summarise,model = model[which.max(score)])

#   id model
# 1  A    M3
# 2  B    M2
# 3  C    M3

确定预测的最佳模型

1 个答案: