Question

我正在阅读resample a dataframe with different functions applied to each column?

解决方案是：

frame.resample('1H', how={'radiation': np.sum, 'tamb': np.mean})

如果我想在存储其他函数值的结果中添加一个不存在的列，比如count（）。在给出的示例中，假设我想计算每个1H周期中的行数。

是否可以这样做：

frame.resample('1H', how={'radiation': np.sum, 'tamb': np.mean,\
               'new_column': count()})

注意，new_column不是原始数据框中的现有列。

我问的原因是，我需要这样做，并且我有一个非常大的数据框，我不想重新采样原始df两次只是为了获得重采样周期中的计数。

我现在正在尝试以上操作，似乎需要很长时间（没有语法错误）。不确定python是否被困在某种永久循环中。

更新

我实施了使用agg的建议（非常感谢你）。

但是，在计算第一个聚合器时收到以下错误：

grouped = df.groupby(['name1',pd.TimeGrouper('M')])
    return pd.DataFrame(
    {'new_col1': grouped['col1'][grouped['col1'] > 0].agg('sum')
    ...


/Users/blahblah/anaconda/lib/python2.7/site-packages/pandas/core/groupby.pyc in __getitem__(self, key)
    521 
    522     def __getitem__(self, key):
--> 523         raise NotImplementedError('Not implemented: %s' % key)
    524 
    525     def _make_wrapper(self, name):

NotImplementedError: Not implemented: True

使用grouped.apply(foo)时，以下情况有效。

new_col1 = grp['col1'][grp['col1'] > 0].sum()

Answer 1

resampling类似于使用TimeGrouper进行分组。虽然是resampling how参数仅允许您为每列指定一个聚合器， GroupBy返回的df.groupby(...)对象具有agg方法，可以将各种函数（例如mean，sum或count）传递给以各种方式聚合群体。您可以使用这些结果来构建所需的DataFrame：

import datetime as DT
import numpy as np
import pandas as pd
np.random.seed(2016)

date_times = pd.date_range(DT.datetime(2012, 4, 5, 8, 0),
                           DT.datetime(2012, 4, 5, 12, 0),
                           freq='1min')
tamb = np.random.sample(date_times.size) * 10.0
radiation = np.random.sample(date_times.size) * 10.0
df = pd.DataFrame(data={'tamb': tamb, 'radiation': radiation},
                  index=date_times)

resampled = df.resample('1H', how={'radiation': np.sum, 'tamb': np.mean})
print(resampled[['radiation', 'tamb']])
#                       radiation      tamb
# 2012-04-05 08:00:00  279.432788  4.549235
# 2012-04-05 09:00:00  310.032188  4.414302
# 2012-04-05 10:00:00  257.504226  5.056613
# 2012-04-05 11:00:00  299.594032  4.652067
# 2012-04-05 12:00:00    8.109946  7.795668

def using_agg(df):
    grouped = df.groupby(pd.TimeGrouper('1H'))
    return pd.DataFrame(
        {'radiation': grouped['radiation'].agg('sum'), 
         'tamb': grouped['tamb'].agg('mean'), 
         'new_column': grouped['tamb'].agg('count')})

print(using_agg(df))

产量

                     new_column   radiation      tamb
2012-04-05 08:00:00          60  279.432788  4.549235
2012-04-05 09:00:00          60  310.032188  4.414302
2012-04-05 10:00:00          60  257.504226  5.056613
2012-04-05 11:00:00          60  299.594032  4.652067
2012-04-05 12:00:00           1    8.109946  7.795668

注意我的第一个回答建议使用groupby/apply：

def using_apply(df):
    grouped = df.groupby(pd.TimeGrouper('1H'))
    result = grouped.apply(foo).unstack(-1)
    result = result.sortlevel(axis=1)
    return result[['radiation', 'tamb', 'new_column']]

def foo(grp):
    radiation = grp['radiation'].sum()
    tamb = grp['tamb'].mean()
    cnt = grp['tamb'].count()
    return pd.Series([radiation, tamb, cnt], index=['radiation', 'tamb', 'new_column'])

事实证明，在这里使用apply比使用agg要慢得多。如果我们在1681行DataFrame上对using_agg与using_apply进行基准测试：

np.random.seed(2016)

date_times = pd.date_range(DT.datetime(2012, 4, 5, 8, 0),
                           DT.datetime(2012, 4, 6, 12, 0),
                           freq='1min')
tamb = np.random.sample(date_times.size) * 10.0
radiation = np.random.sample(date_times.size) * 10.0
df = pd.DataFrame(data={'tamb': tamb, 'radiation': radiation},
                  index=date_times)

我发现使用IPython＆＃39; %timeit函数

In [83]: %timeit using_apply(df)
100 loops, best of 3: 16.9 ms per loop

In [84]: %timeit using_agg(df)
1000 loops, best of 3: 1.62 ms per loop

using_agg明显快于using_apply和（基于额外的 %timeit测试）支持using_agg的速度优势增长为len(df) 增长。

顺便说一下，关于

frame.resample('1H', how={'radiation': np.sum, 'tamb': np.mean,\
               'new_column': count()})

除了how dict不接受不存在的列名的问题之外，count中的括号是有问题的。 how dict中的值应该是函数对象。 count是一个函数对象，但count()是通过调用count返回的值。

由于Python在调用函数之前评估参数，因此count()之前会调用frame.resample(...)，然后count()的返回值与密钥相关联{绑定到'new_column'参数的字典中的{1}}。那不是你想要的。

关于更新的问题：在调用how之前预先计算您需要的值：

而不是

groupby/agg

使用

grouped = df.groupby(['name1',pd.TimeGrouper('M')]) return pd.DataFrame( {'new_col1': grouped['col1'][grouped['col1'] > 0].agg('sum') ... # ImplementationError since `grouped['col1']` does not implement __getitem__

有关预先计算有助于提高性能的原因，请参阅bottom of this post。

在resample

1 个答案: