Question

我经常使用DatetimeIndex.date，尤其是在groupby方法中。但是，与DatetimeIndex.year / month / day相比，DatetimeIndex.date很慢。根据我的理解，这是因为.date属性在索引上使用lambda函数并返回datetime有序索引，而index.year / month / day只返回整数索引。我做了一个小的示例函数，它执行得更好，并且会加快我的一些代码（至少是为了查找groupby中的值），但我觉得必须有更好的方法：

In [217]: index = pd.date_range('2011-01-01', periods=100000, freq='h')

In [218]: data = np.random.rand(len(index))

In [219]: df = pd.DataFrame({'data':data},index)

In [220]: def func(df):
 ...:     groupby = df.groupby([df.index.year, df.index.month, df.index.day]).mean()
 ...:     index = pd.date_range(df.index[0], periods = len(groupby), freq='D')
 ...:     groupby.index = index
 ...:     return groupby
 ...: 

In [221]: df.groupby(df.index.date).mean().equals(func(df))
Out[221]: True

In [222]: df.groupby(df.index.date).mean().index.equals(func(df).index)
Out[222]: True

In [223]: %timeit df.groupby(df.index.date).mean()
1 loop, best of 3: 1.32 s per loop

In [224]: %timeit func(df)
10 loops, best of 3: 89.2 ms per loop

pandas / index是否具有我找不到的类似功能？

Answer 1

您甚至可以稍微改进一下：

In [69]: %timeit func(df)
10 loops, best of 3: 84.3 ms per loop

In [70]: %timeit df.groupby(pd.TimeGrouper('1D')).mean()
100 loops, best of 3: 6 ms per loop

In [84]: %timeit df.groupby(pd.Grouper(level=0, freq='1D')).mean()
100 loops, best of 3: 6.48 ms per loop

In [71]: (func(df) == df.groupby(pd.TimeGrouper('1D')).mean()).all()
Out[71]:
data    True
dtype: bool

另一种解决方案 - 使用DataFrame.resample()方法：

In [73]: (df.resample('1D').mean() == func(df)).all()
Out[73]:
data    True
dtype: bool

In [74]: %timeit df.resample('1D').mean()
100 loops, best of 3: 6.63 ms per loop

UPDATE：按字符串分组：

In [75]: %timeit df.groupby(df.index.strftime('%Y%m%d')).mean()
1 loop, best of 3: 2.6 s per loop

In [76]: %timeit df.groupby(df.index.date).mean()
1 loop, best of 3: 1.07 s per loop

有没有更有效和优雅的方法按日期过滤熊猫索引？

1 个答案: