有没有一种更好的方法来对大熊猫使用“填充”方法进行分段填充?

时间:2019-12-08 00:50:29

标签: python pandas fillna

让我解释一下这种情况。事情是我目前正在处理有时被分类的数据,有时却没有。所以我决定使用带有“ ffil”作为方法的fillna的熊猫。我只是觉得这不是最佳和/或清洁的解决方案。如果有人可以更好地帮助我,我将非常感激。这里有一些代码来说明这一点:

data = {
    "detail":['apple mac', 'apple iphone x', 'samsumg galaxy s10', 'samsumg galaxy s10', 'hp computer'],
    'category': ['computer', 'phone', 'phone', np.NaN, np.NaN]
}

df = pd.DataFrame(data)

返回

    detail              category
0   apple mac           computer
1   apple iphone x      phone
2   samsumg galaxy s10  phone
3   samsumg galaxy s10  NaN
4   hp computer         NaN

首先我过滤了没有类别的明细值:

details_without_cats = df[df.category.isnull()].detail.unique()

然后我循环遍历这些值以进行填充:

for detail_wc in details_without_cats:
    df[df.detail == detail_wc] = df[df.detail == detail_wc].fillna(method = 'ffill')
print(df)

完全返回我想要的

    detail              category
0   apple mac           computer
1   apple iphone x      phone
2   samsumg galaxy s10  phone
3   samsumg galaxy s10  phone
4   hp computer         NaN
困境如下。如果我有成千上万个样本,这种情况会怎样?有没有更好的办法?请帮助

2 个答案:

答案 0 :(得分:1)

我们可以做到

df['category']=df.groupby('detail')['category'].ffill()
df
               detail  category
0           apple mac  computer
1      apple iphone x     phone
2  samsumg galaxy s10     phone
3  samsumg galaxy s10     phone
4         hp computer       NaN

答案 1 :(得分:1)

如果要创建包含值的项目的字典以供以后使用,可以执行以下操作:

maps = df.dropna().set_index('detail').to_dict()['category']
df['category'] = df.set_index('detail').index.map(maps)

地图

{'apple mac': 'computer',
 'apple iphone x': 'phone',
 'samsumg galaxy s10': 'phone'}

输出:

               detail  category
0           apple mac  computer
1      apple iphone x     phone
2  samsumg galaxy s10     phone
3  samsumg galaxy s10     phone
4         hp computer       NaN