带有Agg最小/最大日期的Pandas Groupby

时间:2018-09-24 00:05:12

标签: python pandas

我正在尝试从可能没有日期的列中获取最小/最大日期。

我尝试过诸如'',“ NaN”,True,False,0等...

我首先根据'+'或'-'的作用从实际日期设置'p_date'和's_date'。

 df_td [ 'p_date' ] = np.where ( df_td.action == '+', df_td.date, ??? )
 df_td [ 's_date' ] = np.where ( df_td.action == '-', df_td.date, ??? )

所以我需要这里的p_date的最小值和s_date的最大值。

  issue      p_date      s_date
0  issue  2012-11-01            
1  issue  2013-12-09            
2  issue  2014-12-08            
3  issue              2016-01-13
4  issue  2012-11-01            
5  issue              2014-03-26
6  issue              2015-05-29
7  issue  2013-12-18            
8  issue              2016-01-13

我分组了

g = df_td.groupby ( [ 'name', 'type' ], as_index = False ).agg (
     {  ...
        'p_date': 'min',
        's_date': 'max'
      } )

这给了我以下错误。

'<=' not supported between instances of 'datetime.date' and 'str'

如果我为空白留一个日期,它确实可以工作,但这不是一个好选择。

如何填写日期才能生效?

谢谢。

2 个答案:

答案 0 :(得分:0)

我对我的回答不满意,但它似乎有效。

我创建了上下限日期。

floor = datetime.date ( 1900, 1, 1 )
ceil = datetime.date ( 2100, 1, 1 )

df_td [ 'p_date' ] = np.where ( df_td.action == '+', df_td.date, ceil )
df_td [ 's_date' ] = np.where ( df_td.action == '-', df_td.date, floor )

这样,它们将抵消需要数据对象才能工作的最小/最大聚合函数。

仍然想要一个更合适的建议。谢谢。

答案 1 :(得分:0)

在熊猫中,NaN被用作缺失值,并且在大多数操作中都被忽略,因此是正确的选择。如果仍然出现错误,则可能是因为那里有一个datetime.date(嗯,您肯定在那里,我的意思是这可能引起了问题)。

例如,如果您的缺失值为"",而列dtypes为object,内部类型为datetime.date,则我得到:

In [496]: df.groupby("issue").agg({"p_date": "min", "s_date": "max"})
[...]
TypeError: '<=' not supported between instances of 'datetime.date' and 'str'

但是,如果我切换到熊猫本机时间对象和NaN,它会起作用:

In [500]: df["p_date"] = pd.to_datetime(df["p_date"])

In [501]: df["s_date"] = pd.to_datetime(df["s_date"])

In [502]: df
Out[502]: 
   issue     p_date     s_date
0  issue 2012-11-01        NaT
1  issue 2013-12-09        NaT
2  issue 2014-12-08        NaT
3  issue        NaT 2016-01-13
4  issue 2012-11-01        NaT
5  issue        NaT 2014-03-26
6  issue        NaT 2015-05-29
7  issue 2013-12-18        NaT
8  issue        NaT 2016-01-13

In [503]: df.groupby("issue").agg({"p_date": "min", "s_date": "max"})
Out[503]: 
          p_date     s_date
issue                      
issue 2012-11-01 2016-01-13