Question

我有一个相当大的（~5000行）DataFrame，有许多变量，比如2 ['max'，'min']，按4个参数排序，['Hs'，'Tp'，'wd' ，'种子']。它看起来像这样：

>>> data.head()
   Hs  Tp   wd  seed  max  min
0   1   9  165    22  225   18
1   1   9  195    16  190   18
2   2   5  165    43  193   12
3   2  10  180    15  141   22
4   1   6  180    17  219   18
>>> len(data)
4500

我想只保留前2个参数，并获得每个'wd'单独计算的所有'种子'的最大标准偏差。

最后，我留下了唯一的（Hs，Tp）对，每个变量的最大标准偏差。类似的东西：

>>> stdev.head()
  Hs Tp       max       min
0  1  5  43.31321  4.597629
1  1  6  43.20004  4.640795
2  1  7  47.31507  4.569408
3  1  8  41.75081  4.651762
4  1  9  41.35818  4.285991
>>> len(stdev)
30

下面的代码做了我想要的，但由于我对DataFrames了解不多，我想知道这些嵌套循环是否可以用不同的DataFramy方式完成=）

import pandas as pd
import numpy as np

#
#data = pd.read_table('data.txt')
#
# don't worry too much about this ugly generator,
# it just emulates the format of my data...
total = 4500
data = pd.DataFrame()
data['Hs'] = np.random.randint(1,4,size=total)
data['Tp'] = np.random.randint(5,15,size=total)
data['wd'] = [[165, 180, 195][np.random.randint(0,3)] for _ in xrange(total)]
data['seed'] = np.random.randint(1,51,size=total)
data['max'] = np.random.randint(100,250,size=total)
data['min'] = np.random.randint(10,25,size=total)

# and here it starts. would the creators of pandas pull their hair out if they see this?
# can this be made better?
stdev = pd.DataFrame(columns = ['Hs', 'Tp', 'max', 'min'])
i=0
for hs in set(data['Hs']):
    data_Hs = data[data['Hs'] == hs]
    for tp in set(data_Hs['Tp']):
        data_tp = data_Hs[data_Hs['Tp'] == tp]
        stdev.loc[i] = [
               hs, 
               tp, 
               max([np.std(data_tp[data_tp['wd']==wd]['max']) for wd in set(data_tp['wd'])]), 
               max([np.std(data_tp[data_tp['wd']==wd]['min']) for wd in set(data_tp['wd'])])]
        i+=1

谢谢！

PS：如果好奇，这是根据海浪变化的统计数据。 Hs是波高，Tp波周期，wd波方向，种子代表不规则波列的不同实现，而min和max是在某个曝光时间内的峰值或我的变量。毕竟，通过标准偏差和平均值，我可以适应一些分布到数据，如Gumbel。

Answer 1

如果我理解正确的话，这可能是单行的：

data.groupby(['Hs', 'Tp', 'wd'])[['max', 'min']].std(ddof=0).max(level=[0, 1])

（如果需要，请在最后加reset_index()）

pandas DataFrame中的操作

1 个答案: