使用假列

Question

考虑我有两套＆＃39; A＆＃39;和＆＃39; B＆＃39; ，我如何在pandas中创建一个集合C = A减去B.这里A和B是数据帧。 A是包含名字和姓氏作为多索引的数据框。 b有整数作为索引。名字和姓氏是B中的列。

我尝试通过A [＆＃39; index＆＃39;] = A.index将A的多索引转换为A的列，然后尝试合并B和A.但它无效。

A：

csv for A.csv

B：

csv for B.csv

B（f_Name和l_name）的列是A的多索引。

我想要A中的所有行，其中f_name和l_name在B中不存在作为输出。我试过以下代码：

A [＆＃39;指数＆＃39;] = A.index

my_df = pd.merge（A，B，left_on = [＆＃39; F_name＆＃39;＆＃39; L_name＆＃39]，right_index =真，如何=＆＃39;左＆＃39;]

ans_df = A [〜A.index.isin（my_df.index）]

但是len（and_df）与len（A）相同，这是不正确的。 ans_df的长度应小于A的长度，因为在B中存在少量f_name和l_name。

Answer 1

以下是数据框 A 和 B

import pandas as pd
import numpy as np

A
               Age  Gender
F_name  L_name      
Josh    Crammer 25  M
John    Smith   29  M
Mellisa Simpson 32  F
Ahemed  Khan    26  M
Frank   J       25  M
Charles Brown   26  M
William Gibson  26  M

B
    F_name  L_name
0   Josh    Crammer
2   Mellisa Simpson
4   Frank   J
5   Charles Brown
6   William Gibson

我们可以做的是重置A的索引并在此处创建列。

A.reset_index(level=A.index.names, inplace=True)
A
    F_name  L_name  Age Gender
0   Josh    Crammer 25  M
1   John    Smith   29  M
2   Mellisa Simpson 32  F
3   Ahemed  Khan    26  M
4   Frank   J       25  M
5   Charles Brown   26  M
6   William Gibson  26  M

现在需要做的就是添加一个not in条件来获取我们需要的行：

A[~((A.F_name.isin(B.F_name)) & (A.L_name.isin(B.L_name)))]
    F_name  L_name  Age Gender
1   John    Smith   29  M
3   Ahemed  Khan    26  M

Answer 2

使用假列

的解决方案

免责声明：您可以在下面找到“假列”方法的示例，该方法可能不适用于具有许多匹配的复杂类型列的大型数据帧。此外，我更喜欢使用简单的索引并将尽可能多的数据放入列而不是索引中。

因此，让我们创建两个数据集：A将包含几个随机的Family Guy字符，而B将包含很少的Family Guy家族成员。希望你熟悉这个真棒电视剧！：）

# Create a DF A with some Quahog Family guy citizens (with multiindex)
multiindexA = pd.MultiIndex.from_tuples([["Peter","Griffin"],["Glenn","Quagmire"],["Joe","Swanson"],["Cleveland","Brown"],["Brian","Griffin"],["Stewie","Griffin"],["Lois","Griffin"]],names=["Name","Surname"])
A=pd.DataFrame([40,35,38,45,8,2,35],index=multiindexA, columns=["Age"])
print A

                    Age
Name      Surname      
Peter     Griffin    40
Glenn     Quagmire   35
Joe       Swanson    38
Cleveland Brown      45
Brian     Griffin     8
Stewie    Griffin     2
Lois      Griffin    35


# Create a DF B with some Family guy inner family members (with simple simple index)
B = pd.DataFrame(data=[["Peter","Griffin",40],["Lois","Griffin",35],["Brian","Griffin",8],["Stewie","Griffin",2]], columns=["Name","Surname","Age"])
print B

     Name  Surname  Age
0   Peter  Griffin   40
1    Lois  Griffin   35
2   Brian  Griffin    8
3  Stewie  Griffin    2

让我们找到不属于格里芬家族的Family Guy角色。首先，我们将使用reset_index将数据帧规范化为相同的结构，因为这将使我们的生活更加轻松：

# Reset index to move multiindex into columns in order to normalize dataframes
A = A.reset_index()
print A

        Name   Surname  Age
0      Peter   Griffin   40
1      Glenn  Quagmire   35
2        Joe   Swanson   38
3  Cleveland     Brown   45
4      Brian   Griffin    8
5     Stewie   Griffin    2
6       Lois   Griffin   35

由于您匹配两个（甚至更多列），一个（可能是脏的和内存浪费）解决方案可能通过将有趣的列与{{1}组合在一起来创建假索引列功能。请注意，您必须将任何非字符串字段转换为.apply(lambda x: ...)。：

的字符串

.astype(str)

这将为两个数据帧添加一个虚拟列，其中所有匹配的数据将被压缩为一个单独的字段。

#Create a new dummy column by merging all matching columns into one (in both dataframes!)
A["fake_index_col"]=A[["Name","Surname","Age"]].astype(str).apply(lambda x: "".join(x),axis=1)
B["fake_index_col"]=B[["Name","Surname","Age"]].astype(str).apply(lambda x: "".join(x),axis=1)

这将允许您轻松应用Name Surname Age fake_index_col 0 Peter Griffin 40 PeterGriffin40 1 Glenn Quagmire 35 GlennQuagmire35 2 Joe Swanson 38 JoeSwanson38 3 Cleveland Brown 45 ClevelandBrown45 4 Brian Griffin 8 BrianGriffin8 5 Stewie Griffin 2 StewieGriffin2 6 Lois Griffin 35 LoisGriffin35函数的反函数来查找不是Griffins的Quahog公民。最后删除假列和/或重新创建多索引以保留数据帧的初始状态。

isin

考虑我有两套＆＃39; A＆＃39;和＆＃39; B＆＃39; ，我如何在熊猫中创建一个C = A减去B的集合

2 个答案:

使用假列