熊猫:填充缺失值,并通过groupby对象进行迭代

时间:2018-08-30 19:38:17

标签: pandas function pandas-groupby missing-data

我有以下数据集:

d = {'player': ['1', '1', '1', '1', '1', '1', '1', '1', '1', '2', '2', 
'2', '2', '2', '2', '3', '3', '3', '3', '3'],
'session': ['a', 'a', 'b', np.nan, 'b', 'c', 'c', 'c', 'c', 'd', 'd', 
'e', 'e', np.nan, 'e', 'f', 'f', 'g', np.nan,  'g'],
'date': ['2018-01-01 00:19:05', '2018-01-01 00:21:07', 
'2018-01-01 00:22:07', '2018-01-01 00:22:15','2018-01-01 00:25:09', 
'2018-01-01 00:25:11', '2018-01-01 00:27:28', '2018-01-01 00:29:29', 
'2018-01-01 00:30:35', '2018-01-01 00:21:16', '2018-01-01 00:35:22', 
'2018-01-01 00:38:16', '2018-01-01 00:38:20', '2018-01-01 00:40:35', 
'2018-01-01 01:31:16', '2018-01-03 00:55:22', '2018-01-03 00:58:16', 
'2018-01-03 00:58:21', '2018-03-01 01:00:35', '2018-03-01 01:31:16']
}

#create dataframe
df = pd.DataFrame(data=d)
#change date to datetime
df['date'] =  pd.to_datetime(df['date']) 

df.head()

     player session        date
0       1       a 2018-01-01 00:19:05
1       1       a 2018-01-01 00:21:07
2       1       b 2018-01-01 00:22:07
3       1     NaN 2018-01-01 00:22:15
4       1       b 2018-01-01 00:25:09

所以,这是我的三列:

  1. “玩家” -具有三名玩家(1,2,3)-dtype = object
  2. “会话” (对象)。每个会话ID将玩家在线执行的一组操作(即数据集中的行)分组在一起。
  3. 'date'(日期时间对象)告诉我们实施每个操作的时间。

此数据集中的问题是我为每个操作提供了时间戳,但是某些操作缺少其会话ID。我要执行的操作如下:对于每个玩家,我想根据时间轴为缺少的值提供一个ID标签。如果缺少动作ID的动作属于某个会话的时间范围(第一个动作-最后一个动作),则可以对其进行标记。

假设我将玩家和ID分组,并计算每个会话的时间范围:

my_agg = df.groupby(['player', 'session']).date.agg([min, max])
my_agg

                           min                 max
player session                                        
1      a       2018-01-01 00:19:05 2018-01-01 00:21:07
       b       2018-01-01 00:22:07 2018-01-01 00:25:09
       c       2018-01-01 00:25:11 2018-01-01 00:30:35
2      d       2018-01-01 00:21:16 2018-01-01 00:35:22
       e       2018-01-01 00:38:16 2018-01-01 01:31:16
3      f       2018-01-03 00:55:22 2018-01-03 00:58:16
       g       2018-01-03 00:58:21 2018-03-01 01:31:16

在这一点上,我想遍历每个玩家,并逐个会话比较我的Nan值的时间戳,以查看它们的归属。

所需的输出:在该示例中,第一个Nan应标记为'b',第二个Nan应标记为'e'最后一个为'g'

免责声明:几天前,我(see here)提出了类似的问题,并且收到了很好的答案,但是这次我必须考虑另一个变量,因此我再次陷入困境。的确,Python的第一步令人兴奋,但非常具有挑战性。

1 个答案:

答案 0 :(得分:0)

您的示例已经排序,但是即使您的输入未排序,这也应该产生您想要的结果。如果此答案不能满足您的要求,请在确实违反您的要求的情况下,发布带有预期输出的其他(或经过修改的)示例数据框。

df.sort_values(['player','date']).fillna(method='ffill')

收益:

   player session                date
0       1       a 2018-01-01 00:19:05
1       1       a 2018-01-01 00:21:07
2       1       b 2018-01-01 00:22:07
3       1       b 2018-01-01 00:22:15
4       1       b 2018-01-01 00:25:09
5       1       c 2018-01-01 00:25:11
6       1       c 2018-01-01 00:27:28
7       1       c 2018-01-01 00:29:29
8       1       c 2018-01-01 00:30:35
9       2       d 2018-01-01 00:21:16
10      2       d 2018-01-01 00:35:22
11      2       e 2018-01-01 00:38:16
12      2       e 2018-01-01 00:38:20
13      2       e 2018-01-01 00:40:35
14      2       e 2018-01-01 01:31:16
15      3       f 2018-01-03 00:55:22
16      3       f 2018-01-03 00:58:16
17      3       g 2018-01-03 00:58:21
18      3       g 2018-03-01 01:00:35
19      3       g 2018-03-01 01:31:16