Question

我有一个非常简单的设置：pandas数据帧df中的市场数据（滴答）如下：

index period ask bid
00:00:00.126 42125 112.118 112.117
00:00:00.228 42125 112.120 112.117
00:00:00.329 42125 112.121 112.120
00:00:00.380 42125 112.123 112.120
00:00:00.432 42125 112.124 112.121
00:00:00.535 41126 112.124 112.121
00:00:00.586 41126 112.122 112.121
00:00:00.687 41126 112.124 112.121
00:00:01.198 41126 112.124 112.120
00:00:01.737 41126 112.124 112.121
00:00:02.243 41126 112.123 112.121

现在我使用pandas.groupy来累计句号

g=df.groupby('period')

很容易按期间获得最低和最高价格，例如

import numpy as np
res=g.agg({'ask': [np.amax, np.amin]})

这也相当快。现在，我还想要每期的第一个和最后一个价格。这就是麻烦开始的地方。当然，我可以这样做：

res=g.agg({'ask': lambda x: x[0]})

它基本上可以工作，但对于大型数据集来说它非常慢。基本上，Python函数调用的调用开销非常大。

有没有人知道类似于np.amax的numpy函数会返回组的第一个或最后一个元素？我找不到一个。 iloc [0]没有这个技巧，因为它是一个对象的方法，因此，我无法将它作为函数传递给g.agg，因为我在这个阶段没有对象（那是什么需要lambda）。

现在，我并不懒惰，我尝试使用cython为自己做这个。

import numpy as np
cimport numpy as np

cpdef double first(np.ndarray array_series):
    return array_series[0]

但是熊猫不会接受这个作为聚合函数，因为它传递的是pd.core.series-object而不是np.ndarray。（没有人从另一个派生出来，编译器无法识别出来。）

有没有人知道如何编写一个接受pandas系列的cython函数而没有python调用开销？

Answer 1

IIUC然后你可以first和last：

In [270]:
g=df.groupby('period')
res=g.agg({'ask': [np.amax, np.amin, 'first', 'last']})
res

Out[270]:
            ask                           
           amax     amin    first     last
period                                    
41126   112.124  112.122  112.124  112.123
42125   112.124  112.118  112.118  112.124

Answer 2

另一种方法是简单地重新采样并使用OHLC (open=first,close=last,high=max,low=min)

In [56]: df = DataFrame({'A' : np.arange(10), 'B' : pd.date_range('20130101',periods=5).tolist()*2})

In [57]: df
Out[57]: 
   A          B
0  0 2013-01-01
1  1 2013-01-02
2  2 2013-01-03
3  3 2013-01-04
4  4 2013-01-05
5  5 2013-01-01
6  6 2013-01-02
7  7 2013-01-03
8  8 2013-01-04
9  9 2013-01-05

In [58]: df.set_index('B').resample('D',how='ohlc')
Out[58]: 
              A               
           open high low close
B                             
2013-01-01    0    5   0     5
2013-01-02    1    6   1     6
2013-01-03    2    7   2     7
2013-01-04    3    8   3     8
2013-01-05    4    9   4     9

加速自定义聚合功能

2 个答案: