熊猫根据定义的列表填充缺失行

时间:2020-07-09 08:33:33

标签: python pandas data-transform

Original DF具有从表中计算出的值。

可能缺少type个ID。 但是,目标是显式列出标志exists。 如果没有,请在type列的no行中添加exists

在此示例中,

id = 1很好。如果仅对id = 2进行过滤,然后运行以下代码,则返回c。然后我可以append

aa = set(type)
bb = set(b['type'].to_list())
list(aa - bb)

但是,正如您所知,将其应用于所有ID都不可行。

我需要帮助,以便将代码应用于所有ID。

这将返回非类型

type = [a, b, c]

Original
id      type    flag    
1       a       y        
1       b       y
1       c       y
2       a       y      
2       b       y
3       b       y     

Goal
id      type    flag    exists 
1       a       y       yes        
1       b       y       yes       
1       c       y       yes       
2       a       y       yes            
2       b       y       yes   
2       c       y       no     
3       a       y       yes        
3       b       y       no 
3       b       y       no    

希望有一个更好的方法来解决这个问题。

1 个答案:

答案 0 :(得分:1)

关键是在一组ID和一组类型之间生成笛卡尔乘积。我已经使用了Cartesian product公理

data = '''id ,     type ,   flag    
1   ,    a    ,   y        
1    ,   b    ,   y
1    ,   c    ,   y
2   ,    a    ,   y      
2    ,   b    ,   y
3     ,  b     ,  y     '''
da = [[i.strip() for i in l.split(",")] for l in data.split("\n")]
df = pd.DataFrame(da[1:], columns=da[0])
# generate cartesian product https://apassionatechie.wordpress.com/2018/01/15/pandas-equivalent-of-sql-cross-join-cartesian-product/
cp = pd.DataFrame(["a","b","c"], columns=["type"])\
        .assign(foo=1)\
        .merge(pd.DataFrame(df["id"].unique(), columns=["id"]).assign(foo=1)).drop('foo',1)
df = cp.merge(df, how="outer", on=["id","type"])
df["exists"] = ~df["flag"].isnull()
df.fillna(method="ffill")

输出

    type    id  flag    exists
0   a   1   y   True
1   a   2   y   True
2   a   3   y   False
3   b   1   y   True
4   b   2   y   True
5   b   3   y   True
6   c   1   y   True
7   c   2   y   False
8   c   3   y   False