具有不同切片的平均超过2d numpy阵列

时间:2016-06-14 22:04:41

标签: performance numpy indexing slice

我需要计算2D numpy数组的列的平均值,其中每列的切片变化。

例如,我有一个数组

    arr = np.arange(20).reshape(4, 5)

每个列的切片的结束索引均值定义为

    bot_ix = np.array([3, 2, 2, 1, 2])

第一列的平均值将是

    arr[0:bot_ix[0], 0].mean()

适当的(即Pythonic +效率)方法是做什么的?我的数组大小是〜(50,50K)。

3 个答案:

答案 0 :(得分:3)

您可以使用NumPy broadcasting -

mask = bot_ix > np.arange(arr.shape[0])[:,None]
out = np.true_divide(np.einsum('ij,ij->j',arr,mask),mask.sum(0))

运行样本以验证结果 -

In [431]: arr
Out[431]: 
array([[ 0,  1,  2,  3,  4],
       [ 5,  6,  7,  8,  9],
       [10, 11, 12, 13, 14],
       [15, 16, 17, 18, 19]])

In [432]: bot_ix
Out[432]: array([3, 2, 2, 1, 2])

In [433]: np.true_divide(np.einsum('ij,ij->j',arr,mask),mask.sum(0))
Out[433]: array([ 5. ,  3.5,  4.5,  3. ,  6.5])

In [434]: [arr[0:item, i].mean() for i,item in enumerate(bot_ix)]
Out[434]: [5.0, 3.5, 4.5, 3.0, 6.5] # Loopy version to test out o/p

答案 1 :(得分:1)

实现它的一种方法是让numpy计算累积和,然后在新生成的数组中使用花式索引,如下所示:

np.true_divide(arr.cumsum(axis=0)[bot_ix-1,range(arr.shape[1])], bot_ix)

我不会对速度做任何假设,因为它不必要地计算比严格要求更多元素的累积总和,但它完全取决于您的特定数据。

答案 2 :(得分:0)

Divakar和Oliver W的混合物。

mask = np.arange(arr.shape[0])[:, None] < bot_ix
(arr * mask).sum(0) / bot_ix.astype(float)

array([ 5. ,  3.5,  4.5,  3. ,  6.5])