我遇到了一个奇怪的问题。我确信这背后有合理的理由。
我有一个名为alloptions的数据框,它有4列,minage1,minage2,minage3和minage4,它们都是float64。缺失值的数量从minage1增加到minage4。
我创建了第五列,它采用这四列中的最小列:
alloptions['minage']=alloptions.apply(lambda x: min([x['minage1'],x['minage2'],x['minage3'],x['minage4']]),axis=1)
看起来它起作用,直到我发现第47行
minage1 minage2 minage3 minage4 minage
47 NaN 56.0 NaN NaN NaN
使用.loc,我隔离了那行:
In [10]:
print alloptions.loc[47,:]
print alloptions.loc[47,:].dtypes
我得到了
minage1 NaN
minage2 56
minage3 NaN
minage4 NaN
minage NaN
Name: 47, dtype: float64
float64
所以我很困惑为什么这个功能没有拿到56.
提前感谢您的帮助。
答案 0 :(得分:5)
您正在使用内置的Python min
函数,该函数不了解nan
并且不一致地处理它:
>>> min(1, np.nan)
1
>>> min(np.nan, 1)
nan
相反,请使用min
中的pandas
方法,该方法在计算min时知道忽略nan
值。此方法采用axis
参数,因此,如果您的四个minageX
列是DataFrame中的唯一列,则可以执行
df['minage'] = df.min(axis=1)
通常在使用pandas数据结构时,应避免使用内置的Python函数,如max,min,sum等,而是使用pandas版本;内置函数对pandas或向量化操作一无所知,可能会产生意想不到的结果。