Python Pandas:有没有更快的方法来根据标准拆分和重组DataFrame?

时间:2017-02-07 16:54:17

标签: python pandas dataframe split

我想根据特定列“ContactID”对此DataFrame进行分组,但如果组的列“PaymentType”不包含特定值,那么我想从DataFrame中删除整个组。

我有这样的事情:

UniqueID = data.drop_duplicates('ContactID')['ContactID'].tolist()
OnlyRefinance=[]
for i in UniqueID:
    splits = data[data['ContactID']==i].reset_index(drop=True)
    if any(splits['PaymentType']==160):
        OnlyRefinance.append(splits)
OnlyRefinance = pd.concat(OnlyRefinance)

这有效,但它非常慢,我想知道是否有更快的方法来实现这一点。

2 个答案:

答案 0 :(得分:6)

您可以使用groupby.filter的其他选项:

data.groupby("ContactID").filter(lambda g: (g.PaymentType == 160).any())

这只会保留 PaymentType 包含160的群组。

答案 1 :(得分:3)

您可以通过以下方式轻松完成此任务:

to_drop = data.loc[data['PaymentType'] == 160, 'ContactID'].unique()
data[~data['ContactID'].isin(to_drop)]

首先过滤掉条件未满足的所有行,并获取我们要删除的唯一联系ID

然后将这些传递给isin并使用~反转掩码,这将删除ContactID在此数组中的所有行