查找pandas数据框中的所有重复行

Question

我希望能够在不事先知道列的名称和数量的情况下获取数据集中重复行的所有实例的索引。所以假设我有这个：

     col
1  |  1
2  |  2
3  |  1
4  |  1
5  |  2

我希望能够获得[1, 3, 4]和[2, 5]。有没有办法实现这个目标？这听起来很简单，但由于我事先不知道这些列，所以我不能做df[col == x...]之类的事情。

Answer 1

首先过滤所有duplicated行，然后使用apply过滤groupby或转换index to_series：

df = df[df.col.duplicated(keep=False)]

a = df.groupby('col').apply(lambda x: list(x.index))
print (a)
col
1    [1, 3, 4]
2       [2, 5]
dtype: object

a = df.index.to_series().groupby(df.col).apply(list)
print (a)
col
1    [1, 3, 4]
2       [2, 5]
dtype: object

如果需要嵌套列表：

L = df.groupby('col').apply(lambda x: list(x.index)).tolist()
print (L)
[[1, 3, 4], [2, 5]]

如果需要，只能通过iloc的位置选择第一列：

a = df[df.iloc[:,0].duplicated(keep=False)]
      .groupby(df.iloc[:,0]).apply(lambda x: list(x.index))
print (a)
col
1    [1, 3, 4]
2       [2, 5]
dtype: object