pandas - 在DataFrame分组后仅保留True值

时间:2015-03-04 16:11:31

标签: python pandas

我一直在使用User_ID,DateTime对象和其他信息处理DataFrame,如下面的摘录:

User_ID;Latitude;Longitude;Datetime
222583401;41.4020375;2.1478710;2014-07-06 20:49:20
287280509;41.3671346;2.0793115;2013-01-30 09:25:47
329757763;41.5453577;2.1175164;2012-09-25 08:40:59
189757330;41.5844998;2.5621569;2013-10-01 11:55:20
624921653;41.5931846;2.3030671;2013-07-09 20:12:20
414673119;41.5550136;2.0965829;2014-02-24 20:15:30
414673119;41.5550136;2.0975829;2014-02-24 20:16:30
414673119;41.5550136;2.0985829;2014-02-24 20:17:30

我已将用户分组为:

g = df.groupby(['User_ID','Datetime'])

然后检查没有单个DataTime对象:

df = df.groupby('User_ID')['Datetime'].apply(lambda g: len(g)>1)

我获得了以下布尔数据框:

User_ID
189757330    False
222583401    False
287280509    False
329757763    False
414673119     True
624921653    False
Name: Datetime, dtype: bool

这对于我的目的来说只保留User_ID为True掩码值。现在,我想仅保留与True值关联的User_ID值,并将它们写入具有pandas.to_csv的新DataFrame。预期的DataFrame将仅包含具有多个DateTime对象的User_ID:

User_ID;Latitude;Longitude;Datetime
414673119;41.5550136;2.0965829;2014-02-24 20:15:30
414673119;41.5550136;2.0975829;2014-02-24 20:16:30
414673119;41.5550136;2.0985829;2014-02-24 20:17:30

我怎样才能访问每个User_ID的布尔值?谢谢你的帮助。

2 个答案:

答案 0 :(得分:10)

df.groupby('User_ID')['Datetime'].apply(lambda g: len(g)>1)的结果分配给变量,以便您可以执行布尔索引,然后使用此索引来调用isin并过滤原始文件:

In [366]:

users = df.groupby('User_ID')['Datetime'].apply(lambda g: len(g)>1)
users

Out[366]:
User_ID
189757330    False
222583401    False
287280509    False
329757763    False
414673119     True
624921653    False
Name: Datetime, dtype: bool

In [367]:   
users[users]

Out[367]:
User_ID
414673119    True
Name: Datetime, dtype: bool

In [368]:
users[users].index

Out[368]:
Int64Index([414673119], dtype='int64')

In [361]:
df[df['User_ID'].isin(users[users].index)]

Out[361]:
     User_ID   Latitude  Longitude            Datetime
5  414673119  41.555014   2.096583 2014-02-24 20:15:30
6  414673119  41.555014   2.097583 2014-02-24 20:16:30
7  414673119  41.555014   2.098583 2014-02-24 20:17:30

然后您可以正常呼叫上面的to_csv

答案 1 :(得分:1)

首先,确保没有重复的条目:

df = df.drop_duplicates()

然后,计算出每个的计数:

counts = df.groupby('User_ID').Datetime.count()

最后,找出索引重叠的位置:

df[df.User_ID.isin(counts[counts > 1].index)]