在Pandas Dataframe上滑动窗口

时间:2016-04-29 12:01:08

标签: python numpy pandas

我有一个大型的时间序列数据熊猫数据帧。

我目前操纵这个数据框来创建一个新的,更小的数据帧,每10行滚动平均值。即滚动窗口技术。像这样:

def create_new_df(df):
    features = []
    x = df['X'].astype(float)
    i = x.index.values
    time_sequence = [i] * 10
    idx = np.array(time_sequence).T.flatten()[:len(x)]
    x = x.groupby(idx).mean()
    x.name = 'X'
    features.append(x)
    new_df = pd.concat(features, axis=1)
    return new_df

要测试的代码:

columns = ['X']
df_ = pd.DataFrame(columns=columns)
df_ = df_.fillna(0) # with 0s rather than NaNs
data = np.array([np.arange(20)]*1).T
df = pd.DataFrame(data, columns=columns)

test = create_new_df(df)
print test

输出:

      X
0   4.5
1  14.5

但是,我希望该功能使用滑动窗口重叠50%来创建新数据框

所以输出看起来像这样:

      X
0   4.5
1   9.5
2  14.5

我该怎么做?

这是我尝试过的:

from itertools import tee, izip

def window(iterable, size):
    iters = tee(iterable, size)
    for i in xrange(1, size):
        for each in iters[i:]:
            next(each, None)
    return izip(*iters)

for each in window(df, 20):
    print list(each) # doesn't have the desired sliding window effect

有些人可能还建议使用pandas rolling_mean()方法,但如果是这样,我就看不到如何在窗口重叠时使用此函数。

非常感谢任何帮助。

1 个答案:

答案 0 :(得分:8)

我认为熊猫滚动技术在这里很好。请注意,从版本0.18.0的pandas开始,您将使用rolling().mean()而不是rolling_mean()

>>> df=pd.DataFrame({ 'x':range(30) })
>>> df = df.rolling(10).mean()           # version 0.18.0 syntax
>>> df[4::5]                             # take every 5th row

       x
4    NaN
9    4.5
14   9.5
19  14.5
24  19.5
29  24.5