Question

我试图返回一个df，其中重复的值已被删除。我尝试使用drop.duplicates()，但是subset列中的值未排序。与之类似，这些值是重复的，但它们的顺序不同。

例如，使用下面的df，如果我尝试从Item_X和Item_Y中删除重复的值，它将返回相同的df。预期的输出将删除第二行。

import pandas as pd

d = ({
    'Item_X' : ['Foo','Bar','Bot','Bot','Bar','Foo'],                 
    'Item_Y' : ['Bar','Foo','Foo','Bot','Bar','Foo'],                 
    'Value' : [1,2,3,4,5,6],                      
     })

df = pd.DataFrame(data = d)

df.drop_duplicates(subset=['Item_X','Item_Y'])

预期结果：

  Item_X Item_Y  Value
0    Foo    Bar      1
2    Bot    Foo      3
3    Bot    Bot      4
4    Bar    Bar      5
5    Foo    Foo      6

实际输出（不正确）：

  Item_X Item_Y  Value
0    Foo    Bar      1
1    Bar    Foo      2
2    Bot    Foo      3
3    Bot    Bot      4
4    Bar    Bar      5
5    Foo    Foo      6

解决这个问题的最有效方法是什么？

Answer 1

您需要沿水平轴对列进行排序，然后获得一个遮罩以对原始帧进行子集设置。您可以使用以下方法来使用np.sort和df.duplicated：

df[~pd.DataFrame(np.sort(df2[['Item_X', 'Item_Y']], axis=1)).duplicated()]

  Item_X Item_Y  Value
0    Foo    Bar      1
2    Bot    Foo      3
3    Bot    Bot      4
4    Bar    Bar      5
5    Foo    Foo      6

Answer 2

IIUC，使用：

read = csDecrypt.Read(fromEncrypt, 0, fromEncrypt.Length);
return (Encoding.UTF8.GetString(fromEncrypt, 0, read));

m=pd.DataFrame(np.sort(df[['Item_X','Item_Y']])).duplicated()
df[~m]

将无序重复项放在单独的列中

2 个答案: