OHCL时间序列 - 多元高斯分布的异常检测

Question

我有一些股票价格的OHLC时间序列：

library(quantmod)
library(mnormt)
library(MASS)

download.file("http://dl.dropbox.com/u/25747565/941.RData", destfile="test.RData")
load("test.RData")
chartSeries(p)

从图中可以看出，有两个向下的峰值，很可能是由于某种数据错误。我想使用多元高斯检测包含这两个有问题的数据点的行。

> x[122,]
 941.Open  941.High   941.Low 941.Close 
    85.60     86.65      5.36     86.20 
> x[136,]
 941.Open  941.High   941.Low 941.Close 
    84.15     85.60     54.20     85.45 

这是我的代码，以适应分布并计算每个数据点的概率：

x <- coredata(p[,1:4])
mu <- apply(x, 2, mean)
sigma <- cov.rob(x)$cov
prob <- apply(x, 1, dmnorm, mean = mu, varcov = sigma, log = TRUE)

但是，此代码会引发以下错误：

Error in pd.solve(varcov, log.det = TRUE) : x appears to be not symmetric

当我使用标准cov()函数计算协方差矩阵时，没有出现此错误，但仅使用鲁棒协方差矩阵函数。协方差矩阵本身看起来非常温和，所以我不确定发生了什么。我想使用协方差矩阵的稳健估计的原因是因为标准协方差矩阵给出了一些误报，因为我在训练集中包含了异常。

有人可以告诉我：

a）如何解决这个问题

b）如果这种方法有意义

谢谢！

P.S。我考虑在Cross Validated上发布这个，但认为SO更合适，因为这似乎是一个“编程”问题。

Answer 1

你是对的。我不知道如何解决错误，但我可以建议你如何找到新点的索引。

1. 您的训练数据可能有少量异常，否则交叉验证和测试结果将受到影响

2. 在MATLAB中计算均值和协方差 如

      mu=mean(traindata);
      sigma=cov(traindata);
   

3. 根据您的要求设置epsilon

   count=0;
     Actual=[];
     for j=1:size(cv,1)
       p=mvnpdf(cv(j,:),mu,sigma);
         if p<eplison
           count=count+1;
           Actual=[Actual;j];
              fprintf('j=%d \t p=%e\n',j,p);
        end
   end
   

如果结果不理想，

4. 调整阈值

5. 使用F-1评分评估模型（如果F-1评分为1，则表明你做得对）
6. 将模型应用于测试数据
7. 完成！