每组Python熊猫的滚动日历天总数

时间:2019-01-08 22:20:56

标签: python pandas datetime cumulative-sum

我想计算一个“站点”正在运行的所有日历日的滚动累积总数。我的数据集不包含该站未运行的天数。但是我需要从开始日期开始计算每个站点运行的日历天的总滚动时间。

我在下面提供了代码,该代码创建了一个包含不同站点及其运行日期的数据框。我计算了滚动累计运行天数,现在我需要找到自开始日期以来日历天的滚动累计数

import pandas as pd
import numpy as np

d = {'Date': ['2011-01-02','2011-01-04','2011-01-05',
              '2011-01-10','2011-01-14','2011-01-15',
              '2011-01-17','2011-01-19','2011-01-22'], 
     'Value': [2,4,66,22,1,2,4,7,9], 
     'Station_ID': ['A','A','A','A','B','B','B','B','B']}
df = pd.DataFrame(data=d)
df['Date'] = df['Date'].values.astype('datetime64[D]')

df

# this gives each stations rolling cumulative number of operating days
df['Rolling_Operating_Days'] = df.groupby('Station_ID')['Date'].rank(method='dense',ascending=True)
df 

我希望输出看起来像这样:

如您所见,“ rolling calendar_days”从“ station_ID”的日历第1天开始,然后累加累计滚动总数。

因此,查看下面的数据集,即使该站仅运行了4或5天(“ Rolling_Operating_Days”),总日历天(“ Rolling_Calendar_Days”)为9。

    Date    Value   Station_ID  Rolling_Operating_Days  Rolling_Calendar_Days
0   2011-01-02  2   A           1.0                             1.0
1   2011-01-04  4   A           2.0                             3.0
2   2011-01-05  66  A           3.0                             4.0
3   2011-01-10  22  A           4.0                             9.0
4   2011-01-14  1   B           1.0                             1.0
5   2011-01-15  2   B           2.0                             2.0
6   2011-01-17  4   B           3.0                             4.0
7   2011-01-19  7   B           4.0                             6.0
8   2011-01-22  9   B           5.0                             9.0

我希望能够计算“ Rolling_Calendar_Days” 列。有谁知道如何做到这一点?

1 个答案:

答案 0 :(得分:0)

我想我了解您要完成的工作。您的示例的问题在于,如果开始日期不是1(2011-01-02)。然后它将从2而不是1开始。解决方案是先使用pd.series.diff(),然后使用cumsum

让我们假设df_subset是:

    Date        Value   Station_ID  
1   2011-01-02  0.961571    A       
3   2011-01-04  -0.927761   A       
4   2011-01-05  0.340300    A       
9   2011-01-10  -1.805910   A       
13  2011-01-14  0.062959    B       
14  2011-01-15  -0.402931   B       
16  2011-01-17  0.696784    B       
18  2011-01-19  -0.039989   B       
21  2011-01-22  -0.547465   B       

然后您可以:

# create a func for groupby
def myFunc(x):
    return x['Date'].diff().dt.days.replace(np.nan,1).cumsum()

# apply function to group and reset index
df_subset['Rolling_Calendar_Days'] = df_subset.groupby('Station_ID').apply(myFunc).reset_index(level=0, drop=True)



    Date         Value  Station_ID  Rolling_Calendar_Days
1   2011-01-02  0.961571    A        1.0
3   2011-01-04  -0.927761   A        3.0
4   2011-01-05  0.340300    A        4.0
9   2011-01-10  -1.805910   A        9.0
13  2011-01-14  0.062959    B        1.0
14  2011-01-15  -0.402931   B        2.0
16  2011-01-17  0.696784    B        4.0
18  2011-01-19  -0.039989   B        6.0
21  2011-01-22  -0.547465   B        9.0

这假设您要开始日期从1开始而不是0