熊猫-删除重复项,但根据列中的值更改keep:first / last

时间:2020-02-24 13:34:14

标签: python pandas

我正在尝试将星期一的每个唯一日期保留在第一行,而将星期五的每个唯一日期保留在最后一行。

我尝试添加一个指标列,其中星期一= 1,星期五= 2。

我似乎无法弄清楚解决此问题的最佳方法是什么?我尝试使用drop_duplicates,但我只知道如何使用它来选择要检查重复项的列,但我不知道如何在keep和{之间切换first {1}}取决于每行中“天”的值。

last

这是预期的结果:(XXXX,YYYY是一些索引,但我认为图片很清晰)

         year  month  day  Time   Close       Date     Day    %Delta  MFIndicator
2926     2001      1    5     0  0.9525 2001-01-05  Friday -0.000734            2
2985     2001      1    5     1  0.9534 2001-01-05  Friday  0.000945            2
3045     2001      1    5     2  0.9534 2001-01-05  Friday  0.000000            2
3105     2001      1    5     3  0.9541 2001-01-05  Friday  0.000734            2
3165     2001      1    5     4  0.9574 2001-01-05  Friday  0.003459            2
...       ...    ...  ...   ...     ...        ...     ...       ...          ...
6700166  2019     12   30    19  1.1200 2019-12-30  Monday -0.000179            1
6700226  2019     12   30    20  1.1195 2019-12-30  Monday -0.000446            1
6700286  2019     12   30    21  1.1198 2019-12-30  Monday  0.000268            1
6700346  2019     12   30    22  1.1197 2019-12-30  Monday -0.000089            1
6700406  2019     12   30    23  1.1200 2019-12-30  Monday  0.000268            1

2 个答案:

答案 0 :(得分:1)

df = pd.DataFrame({'A': ['m', 'f', 'm', 'm', 'f', 'f'], 
                   'B': np.arange(6), 'C': np.arange(6)})

    A   B   C
0   m   0   0
1   f   1   1
2   m   2   2
3   m   3   3
4   f   4   4
5   f   5   5

(df.groupby('A', as_index=False).apply(lambda x: x.iloc[[0]] if x['A'].values[0]=='m' else x.iloc[[-1]])
   .reset_index(level=0, drop=True))

    A   B   C
4   f   4   4
0   m   0   0

逻辑将是相同的。 代替A,您将有Day列,并进行groupby Date列。

答案 1 :(得分:0)

保留所有内容,然后在groupby中进行后处理,就像这样:

dup_mask = df.duplicated(subset=['Date'], keep=False)
df_dup = df[dup_mask].groupby('Date', as_index=False).apply(lambda gr: gr.iloc[0] if gr['Day'].iloc[0] == 'Monday' else gr.iloc[-1])
df = pd.concat(df[~dup_mask], df_dup)
相关问题