Question

我想删除重复项并保留第一个值。想要删除的重复项是A =＆＃39; df＆＃39; 。这是我的数据

A   B   C   D   E
qw  1   3   1   1
er  2   4   2   6
ew  4   8   44  4
df  34  34  34  34
df  2   5   2   2
df  3   3   7   3
df  4   4   7   4
we  2   5   5   2
we  4   4   4   4
df  34  9   34  34
df  3   3   9   3
we  4   7   4   4
qw  2   2   7   2

所以结果将是

A   B   C   D   E
qw  1   3   1   1
er  2   4   2   6
ew  4   8   44  4
**df**  34  34  34  34
we  2   5   5   2
we  4   4   4   4
**df**  34  9   34  34
we  4   7   4   4
qw  2   2   7   2

Answer 1

创建帮助器Series，用于区分A列中的连续值，然后按boolean indexing过滤(~)由duplicated创建的布尔掩码，并使用另一个掩码进行链接比较值df：

s = df['A'].ne(df['A'].shift()).cumsum()
df = df[~((df['A'] == 'df') & (s.duplicated()))]
print (df)
     A   B   C   D   E
0   qw   1   3   1   1
1   er   2   4   2   6
2   ew   4   8  44   4
3   df  34  34  34  34
7   we   2   5   5   2
8   we   4   4   4   4
9   df  34   9  34  34
11  we   4   7   4   4
12  qw   2   2   7   2

Answer 2

另一个想法，在我看来更有可读性的好处，就是只将索引移到df.A == "df"并存储差异等于1的id。这些列我们放下{{1 }}

df.drop()

时间比较

使用下面的测试样本与jezrael一样快速运行。

1000次循环，最佳3：每循环1.38 ms

1000次循环，最佳3：每循环1.38 ms

完整示例

idx = df[df.A == "df"].index             # [3, 4, 5, 6, 9, 10]
m = idx - np.roll(idx, 1) == 1           # [False, True, True, True, False, True]
df.drop(idx[m], inplace = True)          # [4,5,6,10]                <-- These we drop

Answer 3

使用cumcount（）

import pandas as pd
import numpy as np
df['cum'] = df.groupby(['A']).cumcount()
df['cum2'] = np.append([0],np.diff(df.cum))
df.query("~((A == 'df') & (cum2 == 1))").drop(['cum','cum2'],axis=1)

df看起来像：

In [6]: df
Out[6]: 
     A   B   C   D   E  cum
0   qw   1   3   1   1    0
1   er   2   4   2   6    0
2   ew   4   8  44   4    0
3   df  34  34  34  34    0
4   df   2   5   2   2    1
5   df   3   3   7   3    2
6   df   4   4   7   4    3
7   we   2   5   5   2    0
8   we   4   4   4   4    1
9   df  34   9  34  34    4
10  df   3   3   9   3    5
11  we   4   7   4   4    2
12  qw   2   2   7   2    1

np.diff

In [7]: df['cum2'] = np.append([0],np.diff(df.cum))

In [8]: df
Out[8]: 
     A   B   C   D   E  cum  cum2
0   qw   1   3   1   1    0     0
1   er   2   4   2   6    0     0
2   ew   4   8  44   4    0     0
3   df  34  34  34  34    0     0
4   df   2   5   2   2    1     1
5   df   3   3   7   3    2     1
6   df   4   4   7   4    3     1
7   we   2   5   5   2    0    -3
8   we   4   4   4   4    1     1
9   df  34   9  34  34    4     3
10  df   3   3   9   3    5     1
11  we   4   7   4   4    2    -3
12  qw   2   2   7   2    1    -1

输出

In [12]: df.query("~((A == 'df') & (cum2 == 1))").drop(['cum','cum2'],axis=1)
Out[12]: 
     A   B   C   D   E
0   qw   1   3   1   1
1   er   2   4   2   6
2   ew   4   8  44   4
3   df  34  34  34  34
7   we   2   5   5   2
8   we   4   4   4   4
9   df  34   9  34  34
11  we   4   7   4   4
12  qw   2   2   7   2

参考：https://pandas.pydata.org/pandas-docs/stable/generated/pandas.core.groupby.GroupBy.cumcount.html

如何删除重复项并将第一个值保留在pandas上？

3 个答案: