如何在pandas中过滤groupby的结果

时间:2014-02-01 16:33:36

标签: python filter group-by pandas

我正在尝试过滤出groupby的结果。

我有这张桌子:

A       B       C

A0      B0      0.5
A1      B0      0.2
A2      B1      0.6
A3      B1      0.4
A4      B2      1.0
A5      B2      1.2

A是索引,它是唯一的。

其次我有这个清单:

['A0', 'A1', 'A4']

我希望按B进行分组,并为每个组提取C值最高的行。必须在每个组中的所有行之间选择此行,为上面列表中存在索引的行赋予最高优先级。

此数据和代码的结果必须是:

A       B       C

A0      B0      0.5
A2      B1      0.6
A4      B2      1.0

我认为伪代码必须是:

group by B
for each group G:
    intersect group G rows index with indexes in the list
    if intersection is not void:
        the group G becomes the intersection
    sort the rows by C in ascending order
    take the first row as representative for this group

我怎么能在熊猫中做到这一点?

由于

2 个答案:

答案 0 :(得分:3)

这是一般解决方案。它不漂亮,但它有效:

def filtermax(g, filter_on, filter_items, max_over):
    infilter = g.index.isin(filter_items).sum() > 0
    if infilter:
        return g[g[max_over] == g.ix[filter_items][max_over].max()]
    else:
        return g[g[max_over] == g[max_over].max()]
    return g

给出:

>>> x.groupby('B').apply(filtermax, 'A', ['A0', 'A1', 'A4'], 'C')
        B    C
B  A          
B0 A0  B0  0.5
B1 A2  B1  0.6
B2 A4  B2  1.0

如果有人可以弄清楚如何阻止B被添加为索引(至少在我的系统x.groupby('B', as_index=False上没有帮助!)那么这个解决方案非常完美!

答案 1 :(得分:1)

我这样解决了:

# a is the dataframe, s the series
s = ['A0', 'A1', 'A4']

# take results for the intersection
results_intersection = a.sort('C', ascending=False).groupby(lambda x: a.ix[x, 'B'] if a.ix[x, 'A'] in s else np.nan).first()

# take remaining results
missing_results_B = set(a['B'].value_counts().index) - set(results_intersection.index)
results_addendum = a[a['B'].isin(missing_results_B)].groupby('B').first()
del results_intersection['B']

# concatenate
results = pd.concat([results_intersection, results_addendum])

希望它有所帮助,我没有忘记任何事情......