将缺失值插入0,并在Pandas中创建指示符列

时间:2017-07-15 19:16:20

标签: python pandas dataframe imputation

我在Pandas中有一个非常简单的数据框,

testdf = [{'name' : 'id1', 'W': np.NaN, 'L':   0, 'D':0},
          {'name' : 'id2', 'W':   0, 'L': np.NaN, 'D':0},
          {'name' : 'id3', 'W':  np.NaN, 'L':  10, 'D':0},
          {'name' : 'id4', 'W':  75, 'L':  20, 'D':0}
          ]
testdf = pd.DataFrame(testdf)
testdf = testdf[['name', 'W', 'L', 'D']]  

看起来像这样:

| name | W   | L   | D |
|------|-----|-----|---|
| id1  | NaN | 0   | 0 |
| id2  | 0   | NaN | 0 |
| id3  | NaN | 10  | 0 |
| id4  | 75  | 20  | 0 |

我的目标很简单:
1)我想通过简单地用0替换它们来归因所有缺失的值 2)接下来我想创建一个带有0或1的指示符列,以指示新值(0)确实是由插补过程创建的。

可能更容易展示而不是用文字解释:

| name | W  | W_indicator | L  | L_indicator | D | D_indicator |
|------|----|-------------|----|-------------|---|-------------|
| id1  | 0  | 1           | 0  | 0           | 0 | 0           |
| id2  | 0  | 0           | 0  | 1           | 0 | 0           |
| id3  | 0  | 1           | 10 | 0           | 0 | 0           |
| id4  | 75 | 0           | 20 | 0           | 0 | 0           |

我的尝试失败了,因为我试图将所有非NaN值更改为某个占位符值,然后将所有NaN更改为0,然后将占位符值更改为NaN等等。它变得混乱如此之快。然后我不断得到各种切片警告。面具变得混乱。我确信有比这更好的启发式方法更优雅的方式。

1 个答案:

答案 0 :(得分:1)

您可以使用isnull转换为int astypeadd_prefix转换为新df,然后转换为concat reindex_axis来自this answers的某些解决方案创建的cols

cols = ['W','L','D']
df = testdf[cols].isnull().astype(int).add_suffix('_indicator')
print (df)
   W_indicator  L_indicator  D_indicator
0            1            0            0
1            0            1            0
2            1            0            0
3            0            0            0

generator的解决方案:

def mygen(lst):
    for item in lst:
        yield item
        yield item + '_indicator'

df1 = pd.concat([testdf.fillna(0), df], axis=1) \
        .reindex_axis(['name'] + list(mygen(cols)), axis=1)
print (df1)

  name     W  W_indicator     L  L_indicator  D  D_indicator
0  id1   0.0            1   0.0            0  0            0
1  id2   0.0            0   0.0            1  0            0
2  id3   0.0            1  10.0            0  0            0
3  id4  75.0            0  20.0            0  0            0

使用list comprehenion的解决方案:

cols = ['name'] + [item for x in cols for item in (x, x + '_indicator')]
df1 = pd.concat([testdf.fillna(0), df], axis=1).reindex_axis(cols, axis=1)
print (df1)
  name     W  W_indicator     L  L_indicator  D  D_indicator
0  id1   0.0            1   0.0            0  0            0
1  id2   0.0            0   0.0            1  0            0
2  id3   0.0            1  10.0            0  0            0
3  id4  75.0            0  20.0            0  0            0