根据Pandas中的日期窗口计算累积值

时间:2018-01-04 15:09:33

标签: python pandas

我有DataFramedf),如下所示:

+----------+----+
| dd_mm_yy | id |
+----------+----+
| 01-03-17 | A  |
| 01-03-17 | B  |
| 01-03-17 | C  |
| 01-05-17 | B  |
| 01-05-17 | D  |
| 01-07-17 | A  |
| 01-07-17 | D  |
| 01-08-17 | C  |
| 01-09-17 | B  |
| 01-09-17 | B  |
+----------+----+

这是我想要计算的最终结果:

+----------+----+-----------+
| dd_mm_yy | id | cum_count |
+----------+----+-----------+
| 01-03-17 | A  |         1 |
| 01-03-17 | B  |         1 |
| 01-03-17 | C  |         1 |
| 01-05-17 | B  |         2 |
| 01-05-17 | D  |         1 |
| 01-07-17 | A  |         2 |
| 01-07-17 | D  |         2 |
| 01-08-17 | C  |         1 |
| 01-09-17 | B  |         2 |
| 01-09-17 | B  |         3 |
+----------+----+-----------+

逻辑

计算id但在指定时间范围内的累计值,例如4 months。即每隔5个月,计数器重置为一个。

要获得累积发生,我们可以使用此df.groupby('id').cumcount() + 1

关注id = B我们发现B的第二次出现是在2个月后cum_count = 2B的下一次出现位于01-09-17,回顾4个月我们只发现另一个出现cum_count = 2等等。

3 个答案:

答案 0 :(得分:2)

我的方法是从df.groupby('id').transform调用辅助函数。我觉得这比它更复杂,更慢,但似乎有用。

# test data

    date    id  cum_count_desired
2017-03-01  A   1
2017-03-01  B   1
2017-03-01  C   1
2017-05-01  B   2
2017-05-01  D   1
2017-07-01  A   2
2017-07-01  D   2
2017-08-01  C   1
2017-09-01  B   2
2017-09-01  B   3

# preprocessing

df['date'] = pd.to_datetime(df['date'])
df.set_index('date', inplace=True)
# Encode the ID strings to numbers to have a column
# to work with after grouping by ID
df['id_code'] = pd.factorize(df['id'])[0]

# solution

def cumcounter(x):
    y = [x.loc[d - pd.DateOffset(months=4):d].count() for d in x.index]
    gr = x.groupby('date')
    adjust = gr.rank(method='first') - gr.size() 
    y += adjust
    return y

df['cum_count'] = df.groupby('id')['id_code'].transform(cumcounter)

# output

df[['id', 'id_num', 'cum_count_desired', 'cum_count']]

           id  id_num  cum_count_desired  cum_count
date                                               
2017-03-01  A       0                  1          1
2017-03-01  B       1                  1          1
2017-03-01  C       2                  1          1
2017-05-01  B       1                  2          2
2017-05-01  D       3                  1          1
2017-07-01  A       0                  2          2
2017-07-01  D       3                  2          2
2017-08-01  C       2                  1          1
2017-09-01  B       1                  2          2
2017-09-01  B       1                  3          3

需要adjust

如果在同一天多次出现相同的ID,我使用的切片方法将超过每个当天的ID,因为基于日期的切片会在列表理解时立即获取所有相同的值遇到显示多个ID的日期。修正:

  1. 按日期对当前DataFrame进行分组。
  2. 对每个日期组中的每一行进行排名。
  3. 从这些排名中减去每个日期组中的总行数。这将生成一个日期索引的升序负整数系列,以0结尾。
  4. 将这些非正整数调整添加到y
  5. 这只影响给定测试数据中的一行 - 倒数第二行,因为B在同一天出现两次。

    包括或排除时间间隔的左端点

    要将行计算为 4个日历月之前或之前的行,即包含 4个月时间间隔的左端点,请保持此行保持不变:

    y = [x.loc[d - pd.DateOffset(months=4):d].count() for d in x.index]
    

    要计算严格比 4个日历月之前的行,要排除 4个月时间间隔的左端点,请改用:

    y = [d.loc[d - pd.DateOffset(months=4, days=-1):d].count() for d in x.index]
    

答案 1 :(得分:1)

你可以用石斑鱼扩展groupby:

df['cum_count'] = df.groupby(['id', pd.Grouper(freq='4M', key='date')]).cumcount()

Out[48]: 
        date id  cum_count
0 2017-03-01  A          0
1 2017-03-01  B          0
2 2017-03-01  C          0
3 2017-05-01  B          0
4 2017-05-01  D          0
5 2017-07-01  A          0
6 2017-07-01  D          1
7 2017-08-01  C          0
8 2017-09-01  B          0
9 2017-09-01  B          1

答案 2 :(得分:1)

我们也可以使用.apply row-wise来处理切片df。切片将基于来自dateutil的relativedelta的使用。

def get_cum_sum (slice, row):
    if slice.shape[0] == 0:
        return 1
    return slice[slice['id'] == row.id].shape[0]

d={'dd_mm_yy':['01-03-17','01-03-17','01-03-17','01-05-17','01-05-17','01-07-17','01-07-17','01-08-17','01-09-17','01-09-17'],'id':['A','B','C','B','D','A','D','C','B','B']}
df=pd.DataFrame(data=d)
df['dd_mm_yy'] = pd.to_datetime(df['dd_mm_yy'], format='%d-%m-%y')

df['cum_sum'] = df.apply(lambda current_row: get_cum_sum(df[(df.index <= current_row.name) & (df.dd_mm_yy >= (current_row.dd_mm_yy - relativedelta(months=+4)))],current_row),axis=1)

>>> df
    dd_mm_yy id  cum_sum
0 2017-03-01  A        1
1 2017-03-01  B        1
2 2017-03-01  C        1
3 2017-05-01  B        2
4 2017-05-01  D        1
5 2017-07-01  A        2
6 2017-07-01  D        2
7 2017-08-01  C        1
8 2017-09-01  B        2
9 2017-09-01  B        3

考虑使用。滚动是否可行但数月不是固定的时间,因此可能无效。