Question

我想从熊猫系列中创建一个时间滞后的熊猫数据框。

给熊猫系列：

X = pd.Series(range(5))

预期输出：

    0   1   2
0   0   1   2.0
1   1   2   3.0
2   2   3   4.0
3   3   4   0.0

我实现了以下功能（具有步长），但是在大型数据集上花费的时间很长。

def creat_time_lagged(x, shift, step):
    df = pd.DataFrame()
    for i in range(0, len(x), step):
        if i + shift - 1 < len(x):
            df['{}'.format(i)] = x.iloc[i : i + shift].values
        else:
            df['{}'.format(i)] = np.append(x.iloc[i:].values, np.zeros(shift - len(x.iloc[i:].values)))
            break
    return df

我该如何改善？

Answer 1

方法1

我们可以利用基于np.lib.stride_tricks.as_strided的scikit-image's view_as_windows来获取滑动窗口。 More info on use of as_strided based view_as_windows。

from skimage.util.shape import view_as_windows

def create_time_lagged_viewaswindows(X, shift, step):  
    a_ext = np.r_[X.values,np.zeros(shift-1,dtype=X.dtype)]
    windows_ar = view_as_windows(a_ext,shift)[:len(X)-shift+step+1:step].T
    return pd.DataFrame(windows_ar)

解释点：基本概念是我们在结尾侧填充零，然后创建滑动窗口。要创建窗口，我们使用np.lib.stride_tricks.as_strided或skimage.util.view_as_windows。

样品运行-

In [166]: X = pd.Series(range(5))

In [167]: create_time_lagged_viewaswindows(X, shift=4, step=1)
Out[167]: 
   0  1  2
0  0  1  2
1  1  2  3
2  2  3  4
3  3  4  0

In [168]: create_time_lagged_viewaswindows(X, shift=4, step=2)
Out[168]: 
   0  1
0  0  2
1  1  3
2  2  4
3  3  0

方法2

我们还可以使用np.lib.stride_tricks.as_strided，这将需要我们手动设置步幅并使用arg调整arg的形状，但是我们会避免像早期方法那样使用转置，这可能值得额外提高性能。该实现将遵循以下思路-

def create_time_lagged_asstrided(X, shift, step):  
    a_ext = np.r_[X.values,np.zeros(shift-1,dtype=X.dtype)]
    strided = np.lib.stride_tricks.as_strided
    s = a_ext.strides[0]
    ncols = (len(X)-shift+2*step)//step
    windows_ar = strided(a_ext, shape=(shift,ncols), strides=(s,step*s))
    return pd.DataFrame(windows_ar)

大型阵列上的计时-

In [215]: X = pd.Series(range(10000))

# Original solution
In [216]: %timeit creat_time_lagged(X, shift=10, step=5)
1 loop, best of 3: 608 ms per loop

# Approach #1
In [217]: %timeit create_time_lagged_viewaswindows(X, shift=10, step=5)
10000 loops, best of 3: 146 µs per loop

# Approach #2
In [218]: %timeit create_time_lagged_asstrided(X, shift=10, step=5)
10000 loops, best of 3: 104 µs per loop

如何滞后于大熊猫序列并创建新的时间滞后数据帧？

1 个答案: