Question

我有一个数据框，用它们的值表示不同的类。例如：

df=pd.DataFrame(
 {'label':['a','a','b','a','b','b','a','c','c','d','e','c'],
'date':[1,2,3,4,3,7,12,18,11,2,5,3],'value':np.random.randn(12)})

我想选择value_counts小于特定阈值的标签，然后将它们放入一个类别，即将它们标记为例如＆＃39;零＆＃39;。

这是我的尝试：

value_count=df.label.value_counts()
threshold = 3
for index in value_count[value_count.values<=threshold].index:
    df.label[df.label==index]='zero'

有更好的方法吗？

Answer 1

您可以使用groupby.transform获取与原始索引对齐的值计数，然后将其用作布尔索引：

df.loc[df.groupby('label')['label'].transform('count') <= threshold, 'label'] = 'zero'

df
Out: 
    date label     value
0      1     a -0.587957
1      2     a  0.341551
2      3  zero  0.516933
3      4     a  0.234042
4      3  zero -0.206185
5      7  zero  0.840724
6     12     a -0.728868
7     18  zero  0.111260
8     11  zero -0.471337
9      2  zero  0.030803
10     5  zero  1.012638
11     3  zero -1.233750

以下是我的时间：

df = pd.concat([df]*10**4)

%timeit df.groupby('label')['label'].transform('count') <= threshold
100 loops, best of 3: 7.86 ms per loop

%%timeit 
value_count=df.label.value_counts()
df['label'].isin(value_count[value_count.values<=threshold].index)
100 loops, best of 3: 9.24 ms per loop

Answer 2

你可以做到

In [59]: df.loc[df['label'].isin(value_count[value_count.values<=threshold].index),
 'label'] = 'zero'

In [60]: df
Out[60]:
    date label     value
0      1     a -0.132887
1      2     a -1.306601
2      3  zero -1.431952
3      4     a  0.928743
4      3  zero  0.278955
5      7  zero  0.128430
6     12     a  0.200825
7     18  zero -0.560548
8     11  zero -2.925706
9      2  zero -0.061373
10     5  zero -0.632036
11     3  zero -1.061894

计时

In [87]: df = pd.concat([df]*10**4, ignore_index=True)

In [88]: %timeit df['label'].isin(value_count[value_count.values<=threshold].index)
100 loops, best of 3: 7.1 ms per loop

In [89]: %timeit df.groupby('label')['label'].transform('count') <= threshold
100 loops, best of 3: 11.7 ms per loop

In [90]: df.shape
Out[90]: (120000, 3)

您可能希望使用较大的数据集进行基准测试。而且，这可能无法比较，因为您已预先value_count

在pandas数据框中更改具有少量成员的组的值

2 个答案: