来自不同形状的NumPy阵列集合的平均值和标准偏差的组合

Question

假设我有Numpy数组的形状

(682, 89, 138)
(2668, 76, 89)
(491, 62, 48)

我应该如何计算所有三个阵列的平均值和标准差？如果它们是相同的形状，我可以使用np.stack()然后得到结果数组的mean和std。

是否可以使用不同尺寸的尺寸进行此操作？或者在获得平均值和标准之前我是否需要重塑？

Answer 1

我们可以使用standard deviation和mean的公式来计算所有输入数组的两个标量值，而不需要连接/堆叠（特别是在大型NumPy数组上可能代价很高）。让我们分步进行 - 平均值，然后是标准偏差，因为我们似乎可以在mean计算中使用std。

获得合并的平均值：

因此，我们将从平均值/平均值开始。为此，我们将得到每个数组的求和标量。然后，得到总和，最后除以所有数组中的元素数。

获取组合标准差值：

对于标准偏差，我们将公式设为：

因此，我们将使用从上一步获得的组合均值，使用std公式得到平方微分，除以所有数组中元素的总数，然后应用平方根。

<强>实施

让我们说输入数组是a和b，我们会有一个解决方案，就像这样 -

N = float(a.size + b.size)
mean_ = (a.sum() + b.sum())/N
std_ = np.sqrt((((a - mean_)**2).sum() + ((b - mean_)**2).sum())/N)

运行验证示例

In [266]: a = np.random.rand(3,4,2)
     ...: b = np.random.rand(2,5,3)
     ...: 

In [267]: N = float(a.size + b.size)
     ...: mean_ = (a.sum() + b.sum())/N
     ...: std_ = np.sqrt((((a - mean_)**2).sum() + ((b - mean_)**2).sum())/N)
     ...: 

In [268]: mean_
Out[268]: 0.47854757879348042

In [270]: std_
Out[270]: 0.27890341338373376

现在，要验证，让我们堆叠，然后使用相关的ufuncs -

In [271]: A = np.hstack((a.ravel(), b.ravel()))

In [273]: A.mean()
Out[273]: 0.47854757879348037

In [274]: A.std()
Out[274]: 0.27890341338373376

作为输入的数组列表

对于包含所有这些数组的列表，我们需要迭代它们，就像这样 -

A = [a,b,c] # input list of arrays

N = float(sum([i.size for i in A]))
mean_ = sum([i.sum() for i in A])/N
std_ = np.sqrt(sum([((i-mean_)**2).sum() for i in A])/N)

示例运行 -

In [301]: a = np.random.rand(3,4,2)
     ...: b = np.random.rand(2,5,3)
     ...: c = np.random.rand(7,4)
     ...: 

In [302]: A = [a,b,c] # input list of arrays
     ...: N = float(sum([i.size for i in A]))
     ...: mean_ = sum([i.sum() for i in A])/N
     ...: std_ = np.sqrt(sum([((i-mean_)**2).sum() for i in A])/N)
     ...: print mean_, std_
     ...: 
0.47703535428 0.293308550786

In [303]: A = np.hstack((a.ravel(), b.ravel(), c.ravel()))
     ...: print A.mean(), A.std()
     ...: 
0.47703535428 0.293308550786