使用NumPy阵列执行分组平均值和标准差

时间:2016-01-05 17:22:03

标签: python arrays numpy

我有一组数据(X,Y)。我的自变量值X不是唯一的,因此有多个重复值,我想输出一个新的数组,其中包含:X_unique,它是X的唯一值列表.Y_mean,对应于X_unique的所有Y值的平均值。 Y_std,与X_unique对应的所有Y值的标准偏差。

x = data[:,0]
y = data[:,1]

3 个答案:

答案 0 :(得分:4)

您可以使用支持各种统计函数的binned_statistic from scipy.stats在一维数组中应用于块。为了获得块,我们需要对移位的位置进行排序(获取块的位置),np.unique将是有用的。把所有这些,这是一个实现 -

from scipy.stats import binned_statistic as bstat

# Sort data corresponding to argsort of first column
sdata = data[data[:,0].argsort()]

# Unique col-1 elements and positions of breaks (elements are not identical)
unq_x,breaks = np.unique(sdata[:,0],return_index=True)
breaks = np.append(breaks,data.shape[0])

# Use binned statistic to get grouped average and std deviation values
idx_range = np.arange(data.shape[0])
avg_y,_,_ = bstat(x=idx_range, values=sdata[:,1], statistic='mean', bins=breaks)
std_y,_,_ = bstat(x=idx_range, values=sdata[:,1], statistic='std', bins=breaks)

binned_statistic的文档中,还可以使用自定义统计函数:

  

function:一个用户定义的函数,它接受一维数组值,   并输出单个数字统计。将调用此函数   关于每个箱子中的值。空箱将由   function([]),如果返回错误,则为NaN。

示例输入,输出 -

In [121]: data
Out[121]: 
array([[2, 5],
       [2, 2],
       [1, 5],
       [3, 8],
       [0, 8],
       [6, 7],
       [8, 1],
       [2, 5],
       [6, 8],
       [1, 8]])

In [122]: np.column_stack((unq_x,avg_y,std_y))
Out[122]: 
array([[ 0.        ,  8.        ,  0.        ],
       [ 1.        ,  6.5       ,  1.5       ],
       [ 2.        ,  4.        ,  1.41421356],
       [ 3.        ,  8.        ,  0.        ],
       [ 6.        ,  7.5       ,  0.5       ],
       [ 8.        ,  1.        ,  0.        ]])

答案 1 :(得分:2)

x_unique  = np.unique(x)
y_means = np.array([np.mean(y[x==u]) for u in x_unique])
y_stds = np.array([np.std(y[x==u]) for u in x_unique])

答案 2 :(得分:1)

Pandas完成了这样的任务:

data=np.random.randint(1,5,20).reshape(10,2)
import pandas
pandas.DataFrame(data).groupby(0).mean()

给出

          1
0          
1  2.666667
2  3.000000
3  2.000000
4  1.500000