预测的准确性测试

Question

我找到了一个网站，它准确地解释了我需要为我的数据做些什么但是它不在R中。任何人都可以建议我如何在R中创建它？

http://people.duke.edu/~rnau/three.htm

我需要找到MSE，MAE，MAPE，ME，MPE，SSE来测试预测的准确性，这个页面是我发现的最接近解释如何操作的页面。

data<-c(79160.56266,91759.73029,91186.47551,106353.8192,70346.46525,80279.15139,82611.60076,131392.7209,93798.99391,105944.7752,103913.1296,154530.6937,110157.4025,117416.0942,127423.4206,156751.9979,120097.8068,121307.7534,115021.1187,150657.8258,113711.5282,115353.1395,112701.9846,154319.1785,116803.545,118352.535)
forecasts<-c(118082.3,157303.8,117938.7,122329.8) # found using arima

（如果您将此问题标记下来，请具体说明原因，请

）

Answer 1

以下是一些使用包UKNonDurables中的数据集AER开始的示例。这个软件包伴随着书Applied Econometrics with R，这是一本非常好的介绍性应用计量经济学书籍，特别适用于没有扎实编程背景的人。

library(forecast)
library(AER) 
##
data("UKNonDurables")
## alias for convenience
Data <- UKNonDurables
## split data into testing and training
train <- window(
  Data,
  end=c(1975,4))
test <- window(
  Data,
  start=c(1976,1))
## fit a model on training data
aaFit <- auto.arima(
  train)
## forcast training model over
## the testing period
aaPred <- forecast(
  aaFit,
  h=length(test))
##
> plot(aaPred)

## extract point forecasts
yHat <- aaPred$mean
## a few functions:
## mean squared (prediction) error
MSE <- function(y,yhat)
{
  mean((y-yhat)**2)
}
## mean absolute (prediction) error
MAE <- function(y,yhat)
{
  mean(abs(y-yhat))
}
## mean absolute percentage (prediction) error
MAPE <- function(y,yhat,percent=TRUE)
{
  if(percent){
    100*mean(abs( (y-yhat)/y ))
  } else {
    mean(abs( (y-yhat)/y ))
  }
}
##
> MSE(test,yHat)
[1] 9646434
> MAE(test,yHat)
[1] 1948.803
> MAPE(test,yHat)
[1] 3.769978

就像我说的，上面的部分或全部函数可能存在于基R或外部包中，但它们通常是简单的公式，实现起来很简单。尝试解决这些问题和/或调整它们以更好地满足您的需求。

修改 正如Hyndman先生在下面指出的那样，他的包forecast包括函数accuracy，它提供了一种非常方便的方法来总结时间序列模型的GOF度量。使用上面的相同数据，您可以轻松评估forecast对象在培训和测试期间的适合度：

> round(accuracy(aaPred,Data),3)
                   ME     RMSE      MAE   MPE  MAPE  MASE  ACF1 Theil's U
Training set    2.961  372.104  277.728 0.001 0.809 0.337 0.053        NA
Test set     1761.016 3105.871 1948.803 3.312 3.770 2.364 0.849     1.004

（其中只使用round(...,3)以便输出在这篇文章中很好地适应）。或者，如果您只想在预测期内检查这些度量，可以调用以下内容：

> accuracy(yHat,test)
               ME     RMSE      MAE      MPE     MAPE      ACF1 Theil's U
Test set 1761.016 3105.871 1948.803 3.312358 3.769978 0.8485389  1.004442