重新采样多级索引,或沿矩阵/数组的第三维平均

时间:2015-09-16 13:08:25

标签: python pandas

我已将网格化的卫星数据存储在数据帧中。通常情况下,此数据框会被切片以逐日显示,这是微不足道的。但是,我想绘制数据的年度平均值,这是我目前所处的位置。数据框具有多级索引(日期时间,纬度坐标),其中列构成经度坐标。

import pandas as pd, numpy as np

dates  = pd.date_range('20140101',periods=10,freq='1D')
others = np.arange(0,5)
index  = [(d,o) for o in others for d in dates]
index  = pd.MultiIndex.from_tuples(index, names=['DATES','LAT'])
data   = np.random.randint(0,20,(50,10))

df = pd.DataFrame(data=data,index=index,columns=np.arange(0,10))
df.columns.names = ['LON']

如果我使用数组,我通常会沿着第三维堆叠它们,然后在第三维上平均。 e.g。

mat = np.ones( (5,10,1) )

# stack on day-by-day basis so lat/lon pairs sit on top of each other 
# on the third dimension
for heute in df.index.get_level_values(0).unique():
    tmp = df.xs(heute, level=0)

    mat = np.dstack( (mat,tmp.as_matrix()) )

ave = mat[:,:,1:].mean(axis=2)

虽然这可行,但我怀疑在熊猫中有一种方法可以做到这一点。但是,为此,我不知道从哪里开始。我玩过groupby和resample,但是我无法完成这些工作。任何帮助将不胜感激。

1 个答案:

答案 0 :(得分:2)

我们走了:

import pandas as pd, numpy as np
pd.set_option('display.float_format',lambda x: '{:,.1f}'.format(x))
np.random.seed(1)

dates  = pd.date_range('20140101',periods=10,freq='1D')
others = np.arange(0,5)
index  = [(d,o) for o in others for d in dates]
index  = pd.MultiIndex.from_tuples(index, names=['DATES','LAT'])
data   = np.random.randint(0,20,(50,10))

df = pd.DataFrame(data=data,index=index,columns=np.arange(0,10))
df.columns.names = ['LON']

# answer 
df = df.stack()
df= df.groupby(level=['LAT','LON']).mean()
print df.unstack(level=['LON'])

产生:

LON    0    1    2    3    4    5    6    7    8    9
LAT                                                  
0    8.8  8.5 10.8  9.2  9.0 10.8  9.3  9.3  7.6  9.1
1   10.6  8.5 10.6 12.2  8.0  8.8  9.5 11.3 10.8  9.5
2   11.0 10.3  8.2 11.2  9.9  8.4 13.5  9.7  7.8  9.0
3    8.1  6.2  8.8 12.6 10.6  7.1  8.8  9.3 11.7 10.2
4    9.1 10.1  7.8  8.7  7.4  7.3 10.2 11.9  8.3 11.9

虽然您的数组方法产生:

[[  8.8   8.5  10.8   9.2   9.   10.8   9.3   9.3   7.6   9.1]
 [ 10.6   8.5  10.6  12.2   8.    8.8   9.5  11.3  10.8   9.5]
 [ 11.   10.3   8.2  11.2   9.9   8.4  13.5   9.7   7.8   9. ]
 [  8.1   6.2   8.8  12.6  10.6   7.1   8.8   9.3  11.7  10.2]
 [  9.1  10.1   7.8   8.7   7.4   7.3  10.2  11.9   8.3  11.9]]