如何在大时间序列DataFrame上应用短时间序列线性回归

Question

我有一个很大的时间序列数据集，其中包含每日汇率的多年数据。我正在尝试添加两个额外的列，其中包括Y截距和基于前10天费率的x或斜率系数。

在excel中，我使用linest函数来计算Y截距和x或斜率的系数。

我想在Python中复制它。

我已经为这个问题提供了一些示例代码。

import pandas as pd
import numpy as np
from datetime import datetime

date_rng = pd.date_range(start='7/1/2018', end='08/31/2018', freq='D')

df = pd.DataFrame(date_rng, columns=['date'])
df['data'] = np.random.randint(76, 100, size=(len(date_rng)))

df['datetime'] = pd.to_datetime(df['date'])
df = df.set_index('datetime')
df.drop(['date'], axis=1, inplace=True)

我希望看到以下结果

datetime    data    Slope   Intercept
1/07/2018   93  NaN NaN
2/07/2018   91  NaN NaN
3/07/2018   76  NaN NaN
5/07/2018   78  NaN NaN
6/07/2018   86  NaN NaN
7/07/2018   94  NaN NaN
8/07/2018   97  NaN NaN
9/07/2018   97  NaN NaN
10/07/2018  96  1.303030303 81.93333333
11/07/2018  82  1.175757576 81.53333333
12/07/2018  95  1.757575758 78.73333333
13/07/2018  95  1.290909091 83.2
14/07/2018  81  0.296969697 88.46666667
15/07/2018  84  -0.842424242    95.33333333
16/07/2018  77  -1.903030303    100.2666667
17/07/2018  78  -2.266666667    100.6666667

Answer 1

如@alkasm所建议，您可以使用Pandas的rolling函数。在滚动窗口中，您可以apply numpy的linalg.lstsq。

A = np.vstack([ np.arange(10), np.ones(len(x))]).T

df['slope'] = df['data'].rolling(10).apply(lambda y: np.linalg.lstsq(A, y)[0][0])
df['intercept'] = df['data'].rolling(10).apply(lambda y: np.linalg.lstsq(A, y)[0][1])

要显示结果，您可以使用matplotlib

import matplotlib.pyplot as plt 

pd.plotting.register_matplotlib_converters()

plt.plot(df.index, df.data)
for i in range(0, len(df) - 10 , 10):
    m, c = df.iloc[10 + i][['slope', 'intercept']]
    plt.plot([df.index[0 + i], df.index[10 + i]], [c, c + 10 * m])

plt.show()