如何对numpy数组进行采样并有效地对每个样本执行计算?

时间:2016-10-21 05:58:10

标签: python performance pandas numpy vectorization

假设我有一个1d数组,我想要的是用移动窗口进行采样,并在窗口内用第一个元素划分每个元素。

例如,如果我有[2, 5, 8, 9, 6]且窗口大小为3,则结果为

[[1, 2.5, 4],
 [1, 1.6, 1.8],
 [1, 1.125, 0.75]].

我现在正在做的基本上是for循环

import numpy as np
arr = np.array([2., 5., 8., 9., 6.])
window_size = 3
for i in range(len(arr) - window_size + 1):
  result.append(arr[i : i + window_size] / arr[i])

当阵列很大时它很慢,我想知道是否有更好的方法?我想没有办法解决O(n ^ 2)的复杂性,但也许numpy有一些我不知道的优化。

1 个答案:

答案 0 :(得分:5)

这是使用broadcasting -

的矢量化方法
N = 3  # Window size
nrows = a.size-N+1
a2D = a[np.arange(nrows)[:,None] + np.arange(N)]
out = a2D/a[:nrows,None].astype(float)

我们也可以使用NumPy strides来更有效地提取滑动窗口,如此 -

n = a.strides[0]
a2D = np.lib.stride_tricks.as_strided(a,shape=(nrows,N),strides=(n,n))

示例运行 -

In [73]: a
Out[73]: array([4, 9, 3, 6, 5, 7, 2])

In [74]: N = 3
    ...: nrows = a.size-N+1
    ...: a2D = a[np.arange(nrows)[:,None] + np.arange(N)]
    ...: out = a2D/a[:nrows,None].astype(float)
    ...: 

In [75]: out
Out[75]: 
array([[ 1.        ,  2.25      ,  0.75      ],
       [ 1.        ,  0.33333333,  0.66666667],
       [ 1.        ,  2.        ,  1.66666667],
       [ 1.        ,  0.83333333,  1.16666667],
       [ 1.        ,  1.4       ,  0.4       ]])