熊猫-带有选定集的get_dummies

时间:2018-12-05 14:09:54

标签: python pandas one-hot-encoding

使用以下DataFrame:

>>> df = pd.DataFrame(data={'category':['a','b','c'],'val':[1,2,3]})
>>> df
  category  val
0        a    1
1        b    2
2        c    3

我要串联生成的虚拟列,并像这样删除原始列:

>>> df = pd.concat([df, pd.get_dummies(df['category'], prefix='cat')], axis=1).drop(['category'], axis=1)
>>> df
   val  cat_a  cat_b  cat_c
0    1      1      0      0
1    2      0      1      0
2    3      0      0      1

然后我为将来的未知值添加另一列,如下所示:

>>> df['cat_unkown'] = 0
>>> df
   val  cat_a  cat_b  cat_c  cat_unkown
0    1      1      0      0           0
1    2      0      1      0           0
2    3      0      0      1           0

现在,我想在新的DataFrame上获取get_dummies,但将其映射到可用列,这意味着:如果存在类别列,请使用它,否则将cat_unkown设置为1

例如以下数据框:

  category  val
0        a    1
1        b    2
2        d    3

结果将是:

   val  cat_a  cat_b  cat_c  cat_unkonw
0    1      1      0      0           0
1    2      0      1      0           0
2    3      0      0      0           1

什么是有效的方法?

更新: 只是详细说明一下,在我的实际问题中,我拥有get_dummies生成结果后的数据帧。

1 个答案:

答案 0 :(得分:1)

我相信您需要:

df = pd.DataFrame(data={'category':['a','b','c'],'val':[1,2,3]})  
df = pd.concat([df, pd.get_dummies(df['category'], prefix='cat')], axis=1).drop(['category'], axis=1)  
df['cat_unkown'] = 0
print (df)
   val  cat_a  cat_b  cat_c  cat_unkown
0    1      1      0      0           0
1    2      0      1      0           0
2    3      0      0      1           0

df1 = pd.DataFrame(data={'category':['a','b','d'],'val':[1,2,3]})    
df1 = pd.concat([df1, pd.get_dummies(df1['category'], prefix='cat')], axis=1).drop(['category'], axis=1)  
print (df1)
   val  cat_a  cat_b  cat_d
0    1      1      0      0
1    2      0      1      0
2    3      0      0      1

#get all columns names without val
orig_cols = df.columns.difference(['val'])
print (orig_cols)
Index(['cat_a', 'cat_b', 'cat_c', 'cat_unkown'], dtype='object')

 #create dictionary with all columns from df1 which are not in df (also removed vals column)
dif = dict.fromkeys(df1.columns.difference(['val'] + orig_cols.tolist()), 'cat_unkown')
print (dif)
{'cat_d': 'cat_unkown'}

#rename columns and if-else for possible multiplied renamed columns
df3 = (df1.rename(columns=dif)
        .assign(cat_unkown = lambda x: x.pop('cat_unkown').max(axis=1) 
                             if isinstance(x['cat_unkown'], pd.DataFrame) 
                             else x.pop('cat_unkown'))
        .reindex(columns=orig_cols, fill_value=0)
        )

print (df3)
   cat_a  cat_b  cat_c  cat_unkown
0      1      0      0           0
1      0      1      0           0
2      0      0      0           1