python pandas min()没有达到最低限度

时间:2015-05-05 19:54:14

标签: python pandas

我遇到了一个奇怪的问题。我确信这背后有合理的理由。

我有一个名为alloptions的数据框,它有4列,minage1,minage2,minage3和minage4,它们都是float64。缺失值的数量从minage1增加到minage4。

我创建了第五列,它采用这四列中的最小列:

alloptions['minage']=alloptions.apply(lambda x: min([x['minage1'],x['minage2'],x['minage3'],x['minage4']]),axis=1)

看起来它起作用,直到我发现第47行

     minage1    minage2 minage3 minage4 minage      
47     NaN      56.0    NaN      NaN     NaN

使用.loc,我隔离了那行:

In [10]:

 print alloptions.loc[47,:]
 print alloptions.loc[47,:].dtypes

我得到了

minage1   NaN
minage2    56
minage3   NaN
minage4   NaN
minage    NaN
Name: 47, dtype: float64
float64

所以我很困惑为什么这个功能没有拿到56.

提前感谢您的帮助。

1 个答案:

答案 0 :(得分:5)

您正在使用内置的Python min函数,该函数不了解nan并且不一致地处理它:

>>> min(1, np.nan)
1
>>> min(np.nan, 1)
nan

相反,请使用min中的pandas方法,该方法在计算min时知道忽略nan值。此方法采用axis参数,因此,如果您的四个minageX列是DataFrame中的唯一列,则可以执行

df['minage'] = df.min(axis=1)

通常在使用pandas数据结构时,应避免使用内置的Python函数,如max,min,sum等,而是使用pandas版本;内置函数对pandas或向量化操作一无所知,可能会产生意想不到的结果。