matplotlib的plt.acorr中自相关图的错误？

Question

我正在使用python绘制自相关。我用三种方法来做：1。pandas，2。matplotlib，3。statsmodels。我发现我从matplotlib获得的图表与其他两个图表不一致。代码是：

 from statsmodels.graphics.tsaplots import *
 # print out data
 print mydata.values

 #1. pandas
 p=autocorrelation_plot(mydata)
 plt.title('mydata')

 #2. matplotlib
 fig=plt.figure()
 plt.acorr(mydata,maxlags=150)
 plt.title('mydata')

 #3. statsmodels.graphics.tsaplots.plot_acf
 plot_acf(mydata)
 plt.title('mydata')

图表在这里：http://quant365.com/viewtopic.php?f=4&t=33

Answer 1

这是统计和信号处理之间不同的通用定义的结果。基本上，信号处理定义假定您将处理去趋势。统计定义假设减去均值就是你要做的所有去趋势，并为你做。

首先，让我们用一个独立的例子来说明问题：

import numpy as np
import matplotlib.pyplot as plt

import pandas as pd
from statsmodels.graphics import tsaplots

def label(ax, string):
    ax.annotate(string, (1, 1), xytext=(-8, -8), ha='right', va='top',
                size=14, xycoords='axes fraction', textcoords='offset points')

np.random.seed(1977)
data = np.random.normal(0, 1, 100).cumsum()

fig, axes = plt.subplots(nrows=4, figsize=(8, 12))
fig.tight_layout()

axes[0].plot(data)
label(axes[0], 'Raw Data')

axes[1].acorr(data, maxlags=data.size-1)
label(axes[1], 'Matplotlib Autocorrelation')

tsaplots.plot_acf(data, axes[2])
label(axes[2], 'Statsmodels Autocorrelation')

pd.tools.plotting.autocorrelation_plot(data, ax=axes[3])
label(axes[3], 'Pandas Autocorrelation')

# Remove some of the titles and labels that were automatically added
for ax in axes.flat:
    ax.set(title='', xlabel='')
plt.show()

那么，为什么我说他们都是正确的呢？他们显然是不同的！

让我们编写自己的自相关函数来演示plt.acorr正在做什么：

def acorr(x, ax=None):
    if ax is None:
        ax = plt.gca()
    autocorr = np.correlate(x, x, mode='full')
    autocorr /= autocorr.max()

    return ax.stem(autocorr)

如果我们用我们的数据绘制这个，我们会得到一个或多或少相同的结果plt.acorr（我正在遗漏正确标记滞后，只是因为我很懒）：

fig, ax = plt.subplots()
acorr(data)
plt.show()

这是完全有效的自相关。这完全取决于您的背景是信号处理还是统计数据。

这是信号处理中使用的定义。假设您将处理对数据的去除（请注意detrend中的plt.acorr kwarg）。如果你想要它去除趋势，你会明确地要求它（并且可能做一些比减去平均值更好的东西），否则不应该假设它。

在统计数据中，简单地减去平均值被认为是你想要去除趋势的。

所有其他函数都在相关之前减去数据的平均值，类似于：

def acorr(x, ax=None):
    if ax is None:
        ax = plt.gca()

    x = x - x.mean()

    autocorr = np.correlate(x, x, mode='full')
    autocorr /= autocorr.max()

    return ax.stem(autocorr)

fig, ax = plt.subplots()
acorr(data)
plt.show()

但是，我们仍有一个很大的区别。这个纯粹是一个绘图惯例。

在大多数信号处理教科书中（无论如何，我已经看到），显示“完全”自相关，使得零滞后在中心，并且结果在每一侧是对称的。另一方面，R具有非常合理的惯例，仅显示它的一面。 （毕竟，另一方是完全冗余的。）统计绘图函数遵循R对流，plt.acorr遵循Matlab所做的，这是相反的惯例。

基本上，你想要这个：

def acorr(x, ax=None):
    if ax is None:
        ax = plt.gca()

    x = x - x.mean()

    autocorr = np.correlate(x, x, mode='full')
    autocorr = autocorr[x.size:]
    autocorr /= autocorr.max()

    return ax.stem(autocorr)

fig, ax = plt.subplots()
acorr(data)
plt.show()