Question

问题

我有一个如下所示的数据框：

Key Var    ID_1 Var_1   ID_2 Var_2  ID_3 Var_3
1   True   1.0  True    NaN  NaN    5.0  True
2   True   NaN  NaN     4.0  False  7.0  True
3   False  2.0  False   5.0  True   NaN  NaN

每行恰好有2个非空数据集（ID / Var），剩下的第三行保证为空。我想做的是＆＃34;浓缩＆＃34;通过删除缺少的元素来获取数据框架。

所需输出

Key Var     First_ID    First_Var   Second_ID   Second_Var
1   True    1           True        5           True
2   True    4           False       7           True
3   False   2           False       5           True

只要维持Id / Var对，排序就不重要了。

当前解决方案

以下是我的工作解决方案：

import pandas as pd
import numpy as np

data = pd.DataFrame({'Key': [1, 2, 3], 'Var': [True, True, False], 'ID_1':[1, np.NaN, 2],
                    'Var_1': [True, np.NaN, False], 'ID_2': [np.NaN, 4, 5], 'Var_2': [np.NaN, False, True],
                    'ID_3': [5, 7, np.NaN], 'Var_3': [True, True, np.NaN]})

sorted_columns = ['Key', 'Var', 'ID_1', 'Var_1', 'ID_2', 'Var_2', 'ID_3', 'Var_3']
data = data[sorted_columns]

output = np.empty(shape=[data.shape[0], 6], dtype=str)

for i, *row in data.itertuples():
    output[i] = [element for element in row if np.isfinite(element)]

print(output)


[['1' 'T' '1' 'T' '5' 'T']
 ['2' 'T' '4' 'F' '7' 'T']
 ['3' 'F' '2' 'F' '5' 'T']]

这是可以接受的，但并不理想。我可以忍受没有列名，但我的大问题是必须将数组内的数据转换为字符串，以避免我的布尔值被转换为数字。

是否有其他解决方案可以更好地保存数据？如果结果是熊猫数据帧，则奖励积分。

Answer 1

有一个简单的解决方案，即将nans向右推，并将nans放在轴1上。即

ndf = data.apply(lambda x : sorted(x,key=pd.isnull),1).dropna(1)

输出：

  Key    Var ID_1  Var_1 ID_2 Var_2
0   1   True    1   True    5  True
1   2   True    4  False    7  True
2   3  False    2  False    5  True

希望它有所帮助。

来自Divakar https://github.com/facebook/react/issues/5497的一个numpy解决方案，速度为10倍，即

def mask_app(a):
    out = np.full(a.shape,np.nan,dtype=a.dtype)
    mask = ~np.isnan(a.astype(float))
    out[np.sort(mask,1)[:,::-1]] = a[mask]
    return out

ndf = pd.DataFrame(mask_app(data.values),columns=data.columns).dropna(1)

  Key    Var ID_1  Var_1 ID_2 Var_2
0   1   True    1   True    5  True
1   2   True    4  False    7  True
2   3  False    2  False    5  True

通过丢弃缺少的元素来压缩pandas数据帧

1 个答案: