我有一些来自实验的数据,并且在每个试验中都有一些由NA
包围的单个值,我想填写整个试验:
df = pd.DataFrame({'trial': [1, 1, 1, 1, 2, 2, 2, 2, 3, 3, 3, 3],
'cs_name': [np.nan, 'A1', np.nan, np.nan, np.nan, np.nan, 'B2',
np.nan, 'A1', np.nan, np.nan, np.nan]})
Out[177]:
cs_name trial
0 NaN 1
1 A1 1
2 NaN 1
3 NaN 1
4 NaN 2
5 NaN 2
6 B2 2
7 NaN 2
8 A1 3
9 NaN 3
10 NaN 3
11 NaN 3
我可以使用bfill()
和ffill()
在整个试验中填写这些值,但我想知道是否有更好的方法来实现这一目标。
df['cs_name'] = df.groupby('trial')['cs_name'].ffill()
df['cs_name'] = df.groupby('trial')['cs_name'].bfill()
预期产出:
cs_name trial
0 A1 1
1 A1 1
2 A1 1
3 A1 1
4 B2 2
5 B2 2
6 B2 2
7 B2 2
8 A1 3
9 A1 3
10 A1 3
11 A1 3
答案 0 :(得分:11)
另一种方法是使用first_valid_index
和transform
:
In [11]: g = df.groupby('trial')
In [12]: g['cs_name'].transform(lambda s: s.loc[s.first_valid_index()])
Out[12]:
0 A1
1 A1
2 A1
3 A1
4 B2
5 B2
6 B2
7 B2
8 A1
9 A1
10 A1
11 A1
Name: cs_name, dtype: object
这应该比使用ffill然后使用bfill更有效...
并使用此功能更改cs_name
列:
df['cs_name'] = g['cs_name'].transform(lambda s: s.loc[s.first_valid_index()])
注意:我认为有一个很好的增强方法可以抓住pandas中的第一个非null对象,在numpy中它是an open request,我认为目前没有方法(我可以是错的!)......
答案 1 :(得分:3)
如果你想避免某些组只包含NaN时出现的错误,你可以执行以下操作(请注意,我更改了df,因此对于试用组= 1的组只有Nan):
df = pd.DataFrame({'trial': [1, 1, 1, 1, 2, 2, 2, 2, 3, 3, 3, 3,1,1],
'cs_name': [np.nan, np.nan, np.nan, np.nan, np.nan, np.nan, 'B2', np.nan,
'A3', np.nan, np.nan, np.nan, np.nan,np.nan]})
g = data.groupby('trial')
g['cs_name'].transform(lambda s: 'No values to aggregate' if
pd.isnull(s).all() == True else s.loc[s.first_valid_index()])
df['cs_name'] = g['cs_name'].transform(lambda s: 'No values to aggregate' if
pd.isnull(s).all() == True else s.loc[s.first_valid_index()])`
这样您就可以输入“无值”来汇总' (或任何你想要的)程序找到特定组的所有NaN而不是错误。
希望这会有所帮助:)
费德里科