用另一个查找表填充NaN

时间:2016-09-21 11:23:12

标签: python pandas dataframe multiple-columns nan

有没有办法通过匹配名称,标线和单元格转换来填充NaN test=default的值?

enter image description here

enter image description here

在“test”列中包含少量变量: enter image description here

有没有办法更新其他行的值?因为数据类型“do”的优先级高于int并删除“do”数据行?

数据:
test datatype name value reticle cell_rev
default int s 0x45 CR1
default int s 0xCB CR3
默认为0.68 CR1

我想得到:

测试数据类型名称值reticle cell_rev
default int s 0.68 CR1
default int s 0xCB CR3

2 个答案:

答案 0 :(得分:2)

您可以set_index使用unstack进行重新整形,然后使用ffill添加缺失值,最后通过stack重新塑造原始内容:

df = df.set_index(['name','value_old','reticle','test','cell_rev'])
       .unstack()
       .ffill()
       .stack()
       .reset_index()

print (df)
  name value_old reticle     test cell_rev value_new
0    s      0x8E     A28  default      CR1      0x8C
1    s      0x8E     A28  default      CR3      0x8E
2    s      0x8E     A28     etlc      CR1      0x8C
3    s      0x8E     A28     etlc      CR3      0x8E

通过评论编辑:

merge创建的子集df1使用boolean indexing,然后按combine_firstfillna填充NaN值:

df1 = df.ix[df.test == 'default']
print (df1)     
      test name value_old reticle cell_rev value_new
0  default    s      0x8E     A28      CR1      0x8E
1  default    s      0x8E     A28      CR3      0x8C

df2 = pd.merge(df, df1, how='left', on=['name','reticle','cell_rev'], suffixes=('','1'))
print (df2)
      test name value_old reticle cell_rev value_new    test1 value_old1  \
0  default    s      0x8E     A28      CR1      0x8E  default       0x8E   
1  default    s      0x8E     A28      CR3      0x8C  default       0x8E   
2     etlc    s      0x8E     A28      CR1      0x44  default       0x8E   
3     etlc    s      0x8E     A28      CR3      0x44  default       0x8E   
4      mlc    s      0x1E     A28      CR1       NaN  default       0x8E   
5      mlc    s      0x1E     A28      CR3       NaN  default       0x8E   
6      slc    s      0x2E     A28      CR1       NaN  default       0x8E   
7      slc    s      0x2E     A28      CR3       NaN  default       0x8E   

  value_new1  
0       0x8E  
1       0x8C  
2       0x8E  
3       0x8C  
4       0x8E  
5       0x8C  
6       0x8E  
7       0x8C 
df['value_new'] = df2['value_new'].combine_first(df2['value_new1'])
#df['value_new'] = df2['value_new'].fillna(df2['value_new1'])
print (df)
      test name value_old reticle cell_rev value_new
0  default    s      0x8E     A28      CR1      0x8E
1  default    s      0x8E     A28      CR3      0x8C
2     etlc    s      0x8E     A28      CR1      0x44
3     etlc    s      0x8E     A28      CR3      0x44
4      mlc    s      0x1E     A28      CR1      0x8E
5      mlc    s      0x1E     A28      CR3      0x8C
6      slc    s      0x2E     A28      CR1      0x8E
7      slc    s      0x2E     A28      CR3      0x8C

答案 1 :(得分:0)

for i in range(len(df)):
    if df.loc[i, 'value_new'] != df.loc[i, 'value_new']:
        df.loc[i, 'value_new'] = df.loc[(df.test == 'default') &
                                        (df.name == df.loc[i, 'name']) &
                                        (df.reticle == df.loc[i, 'reticle']) &
                                        (df.cell_rev == df.loc[i, 'cell_rev']),
                                        'value_new']

我认为这是一个更有效的解决方案,但这应该有效。