数字在Pandas DataFrame中按顺序重复

时间:2016-09-14 02:25:39

标签: python pandas dataframe duplicates foreign-keys

我有一个Pandas DataFrame,它的列基本上是一个外键,如下所示:

Index   |  f_key  |    values
  0     |    1    |     red 
  1     |    2    |     blue 
  2     |    1    |     green 
  3     |    2    |     yellow 
  4     |    3    |     orange 
  5     |    1    |     violet

我想要的是添加一个按顺序标记重复外键的列,如" dup_number"下面:

Index   | dup_number |  f_key  |    values
  0     |     1      |    1    |     red 
  1     |     1      |    2    |     blue 
  2     |     2      |    1    |     green 
  3     |     2      |    2    |     yellow 
  4     |     1      |    3    |     orange 
  5     |     3      |    1    |     violet

如果需要,行可以重新排序,我只需要获得" dup_number"钥匙在那里。我写了下面的代码,工作正常,它给了我一个系列,然后我可以添加到DataFrame,但它很慢(循环是什么杀死时间),我觉得它更多的方式比需要复杂:

df = pd.DataFrame({'f_key': [1,2,1,2,3,1], 'values': ['red', 'blue', 'green', 'yellow', 'orange', 'violet']})
df_unique = df['f_key'].drop_duplicates().reset_index(drop=True)
dup_number = pd.DataFrame(columns = ['dup_number', 'temp_index'])
for n in np.arange(len(df_unique)):
    sub_df = df.loc[df['f_key'] == df_unique[n]].reset_index()
    dup_index = pd.DataFrame({'dup_number': sub_df.index.values[:]+1, 'temp_index': sub_df['index']})
    dup_number = dup_number.append(dup_index)
dup_number = dup_number.set_index(dup_number['temp_index'].astype(int))
dup_number = dup_number['dup_number'].sort_index()

有关更快/更简单的方法的任何建议都表示赞赏!

2 个答案:

答案 0 :(得分:4)

您可以使用cumcount()

df['dup_number'] = df.groupby(['f_key']).cumcount()+1

           f_key  values  dup_number
    0      1     red           1
    1      2    blue           1
    2      1   green           2
    3      2  yellow           2
    4      3  orange           1
    5      1  violet           3

答案 1 :(得分:2)

以下是与this question中列出的解决方案类似的解决方案。以下是其中一个答案的修改版本:

import pandas as pd
df = pd.DataFrame({'index':[0,1,2,3,4,5],'f_key':[1,2,1,2,3,1]
              ,'values':['red','blue','green','yellow','orange','violet']})

df['duplicate_num']=df.sort_values('index') \
    .groupby('f_key') \
    .cumcount() + 1

本质上,我们将一个窗口函数(概念上)应用于数据帧,并为重复的外键值的每个实例(按索引排序)生成行号。