这应该是直截了当的，但我发现的最接近的是这篇文章： pandas: Filling missing values within a group，我仍然无法解决我的问题......
假设我有以下数据框
df = pd.DataFrame({'value': [1, np.nan, np.nan, 2, 3, 1, 3, np.nan, 3], 'name': ['A','A', 'B','B','B','B', 'C','C','C']})
name value
0 A 1
1 A NaN
2 B NaN
3 B 2
4 B 3
5 B 1
6 C 3
7 C NaN
8 C 3
我想用“名称”组中的“NaN”填写平均值，即
name value
0 A 1
1 A 1
2 B 2
3 B 2
4 B 3
5 B 1
6 C 3
7 C 3
8 C 3
我不知道该去哪儿：
grouped = df.groupby('name').mean()
非常感谢。
答案 0 :(得分：66)
一种方法是使用transform：
>>> df
name value
0 A 1
1 A NaN
2 B NaN
3 B 2
4 B 3
5 B 1
6 C 3
7 C NaN
8 C 3
>>> df["value"] = df.groupby("name").transform(lambda x: x.fillna(x.mean()))
>>> df
name value
0 A 1
1 A 1
2 B 2
3 B 2
4 B 3
5 B 1
6 C 3
7 C 3
8 C 3
答案 1 :(得分：15)
@DSM让IMO得到正确的答案，但我想分享我对问题的概括和优化：分列多个列并具有多个值列：
df = pd.DataFrame(
{
'category': ['X', 'X', 'X', 'X', 'X', 'X', 'Y', 'Y', 'Y'],
'name': ['A','A', 'B','B','B','B', 'C','C','C'],
'other_value': [10, np.nan, np.nan, 20, 30, 10, 30, np.nan, 30],
'value': [1, np.nan, np.nan, 2, 3, 1, 3, np.nan, 3],
}
)
...给...
category name other_value value
0 X A 10.0 1.0
1 X A NaN NaN
2 X B NaN NaN
3 X B 20.0 2.0
4 X B 30.0 3.0
5 X B 10.0 1.0
6 Y C 30.0 3.0
7 Y C NaN NaN
8 Y C 30.0 3.0
在这个一般情况下，我们希望按category和name进行分组，并仅在value上进行归档。
这可以解决如下：
df['value'] = df.groupby(['category', 'name'])['value']\
.transform(lambda x: x.fillna(x.mean()))
注意group-by子句中的列列表，并在group-by之后选择value列。这使得转换仅在该特定列上运行。您可以将它添加到最后，但是然后您将为所有列运行它，以便在结尾处丢弃除一个度量列之外的所有列。标准的SQL查询规划器可能已经能够对此进行优化，但是pandas（0.19.2）似乎并没有这样做。
通过执行...来增加数据集进行性能测试。
big_df = None
for _ in range(10000):
if big_df is None:
big_df = df.copy()
else:
big_df = pd.concat([big_df, df])
df = big_df
...确认这会增加速度与您不必估算的列数成比例：
import pandas as pd
from datetime import datetime
def generate_data():
...
t = datetime.now()
df = generate_data()
df['value'] = df.groupby(['category', 'name'])['value']\
.transform(lambda x: x.fillna(x.mean()))
print(datetime.now()-t)
# 0:00:00.016012
t = datetime.now()
df = generate_data()
df["value"] = df.groupby(['category', 'name'])\
.transform(lambda x: x.fillna(x.mean()))['value']
print(datetime.now()-t)
# 0:00:00.030022
最后一点，如果你想要输入多个列而不是全部列，你可以进一步概括：
df[['value', 'other_value']] = df.groupby(['category', 'name'])['value', 'other_value']\
.transform(lambda x: x.fillna(x.mean()))
答案 2 :(得分：6)
我会这样做
df.loc[df.value.isnull(), 'value'] = df.groupby('group').value.transform('mean')
答案 3 :(得分：4)
以上大多数答案都涉及使用“ groupby”和“ transform”填充缺失值。
但是我更喜欢使用“ groupby”和“ apply”来填充缺失的值，这对我来说更直观。
>>> df['value']=df.groupby('name')['value'].apply(lambda x:x.fillna(x.mean()))
>>> df.isnull().sum().sum()
0
快捷方式：分组依据+ Apply / Lambda + Fillna + Mean
如果要按多列分组以替换缺少的值，则此解决方案仍然有效。
>>> df = pd.DataFrame({'value': [1, np.nan, np.nan, 2, 3, np.nan,np.nan, 4, 3],
'name': ['A','A', 'B','B','B','B', 'C','C','C'],'class':list('ppqqrrsss')})
>>> df
value name class
0 1.0 A p
1 NaN A p
2 NaN B q
3 2.0 B q
4 3.0 B r
5 NaN B r
6 NaN C s
7 4.0 C s
8 3.0 C s
>>> df['value']=df.groupby(['name','class'])['value'].apply(lambda x:x.fillna(x.mean()))
>>> df
value name class
0 1.0 A p
1 1.0 A p
2 2.0 B q
3 2.0 B q
4 3.0 B r
5 3.0 B r
6 3.5 C s
7 4.0 C s
8 3.0 C s
答案 4 :(得分：3)
特色高排名答案仅适用于只有两列的pandas Dataframe。如果您使用更多列，请使用
df['Crude_Birth_rate'] = df.groupby("continent").Crude_Birth_rate.transform(
lambda x: x.fillna(x.mean()))
答案 5 :(得分：3)
fillna + groupby + transform + mean 这似乎很直观：
df['value'] = df['value'].fillna(df.groupby('name')['value'].transform('mean'))
groupby + transform语法将分组均值映射到原始数据帧的索引。这大致相当于@DSM's solution，但避免了定义匿名lambda函数的需要。
答案 6 :(得分：2)
def groupMeanValue(group):
group['value'] = group['value'].fillna(group['value'].mean())
return group
dft = df.groupby("name").transform(groupMeanValue)
答案 7 :(得分：1)
总结以上所有关于可能解决方案的效率 我有一个包含 97 906 行和 48 列的数据集。 我想用每组的中位数填充 4 列。 我要分组的列有 26 200 个组。
第一个解决方案
start = time.time()
x = df_merged[continuous_variables].fillna(df_merged.groupby('domain_userid')[continuous_variables].transform('median'))
print(time.time() - start)
0.10429811477661133 seconds
第二种方案
start = time.time()
for col in continuous_variables:
df_merged.loc[df_merged[col].isnull(), col] = df_merged.groupby('domain_userid')[col].transform('median')
print(time.time() - start)
0.5098445415496826 seconds
下一个解决方案我只在一个子集上执行，因为它运行时间太长。
start = time.time()
for col in continuous_variables:
x = df_merged.head(10000).groupby('domain_userid')[col].transform(lambda x: x.fillna(x.median()))
print(time.time() - start)
11.685635566711426 seconds
以下解决方案遵循与上述相同的逻辑。
start = time.time()
x = df_merged.head(10000).groupby('domain_userid')[continuous_variables].transform(lambda x: x.fillna(x.median()))
print(time.time() - start)
42.630549907684326 seconds
所以选择正确的方法非常重要。 请记住，我注意到一旦一列不是数字，时间就会呈指数增长（因为我在计算中位数是有道理的）。
答案 8 :(得分：0)
df.fillna(df.groupby(['name'], as_index=False).mean(), inplace=True)
答案 9 :(得分：-1)
您也可以使用"dataframe or table_name".apply(lambda x: x.fillna(x.mean()))。
答案 10 :(得分：-4)
我刚刚做了这个
df.fillna(df.mean(), inplace=True)
DataFrame中的所有缺失值都将由均值填充。如果这是你正在寻找的。这对我有用。这很简单，完成工作。