使用pandas GroupBy或pivot_table查找最小每日价值

时间:2017-09-10 01:07:59

标签: python pandas dataframe group-by pandas-groupby

我有一个从csv文件中获取的Dataframe(经过一些过滤后),如下所示:

 df3.head(n = 10)

        DateTime            Det_ID  Speed
16956   2014-01-01 07:00:00 1201085 65.0
16962   2014-01-01 07:00:00 1201110 69.5
19377   2014-01-01 08:00:00 1201085 65.0
19383   2014-01-01 08:00:00 1201110 65.0
21798   2014-01-01 09:00:00 1201085 65.0
21804   2014-01-01 09:00:00 1201110 65.4
75060   2014-01-02 07:00:00 1201085 64.9
75066   2014-01-02 07:00:00 1201110 66.1
77481   2014-01-02 08:00:00 1201085 65.0
77487   2014-01-02 08:00:00 1201110 62.5

这表示在一天中的不同时间通过不同检测器(现在为两个)测量的速度。我已将DateTime列转换为日期时间对象。

我需要知道每个探测器的最低每日速度值。

基本上,像这样的东西,然后我可以使用它来构建热图。

df4 = df3.pivot_table(index='DateTime',columns='Det_ID',aggfunc=min)
df4.head()

                      Speed
Det_ID             1201085  1201110
DateTime        
2014-01-01 07:00:00 65.0    69.5
2014-01-01 08:00:00 65.0    65.0
2014-01-01 09:00:00 65.0    65.4
2014-01-02 07:00:00 64.9    66.1
2014-01-02 08:00:00 65.0    62.5

显然,我使用数据透视表的方式不正确,因为我得到的是每日速度的多个值,而不仅仅是一个。我怀疑是因为最小值是在每个唯一的DateTime字段上计算的,而不仅仅是日期部分。

同时尝试groupby选项。

list(df3.groupby(['DateTime'], sort = False)['Speed'].min())

但它只是给出一个数字列表,没有任何其他列。

65.0,
 65.0,
 65.0,
 64.900000000000006,
 62.5,
 64.200000000000003,
 54.700000000000003,
 62.600000000000001,
 64.799999999999997,
 59.5, 

如何仅隔离DateTime字段中的日期部分?我是否朝着正确的方向前进?感谢。

2 个答案:

答案 0 :(得分:2)

致电.dt.strftime并重新格式化您的DateTime列。

df.DateTime = df.DateTime.dt.strftime('%m/%d/%Y')
df

        DateTime   Det_ID  Speed
16956  01/01/2014  1201085   65.0
16962  01/01/2014  1201110   69.5
19377  01/01/2014  1201085   65.0
19383  01/01/2014  1201110   65.0
21798  01/01/2014  1201085   65.0
21804  01/01/2014  1201110   65.4
75060  01/02/2014  1201085   64.9
75066  01/02/2014  1201110   66.1
77481  01/02/2014  1201085   65.0
77487  01/02/2014  1201110   62.5

现在,请致电pivot_table

df = df.pivot_table(index='DateTime', columns='Det_ID', values='Speed', aggfunc=np.min)
df
Det_ID      1201085  1201110
DateTime                    
01/01/2014     65.0     65.0
01/02/2014     64.9     62.5

答案 1 :(得分:1)

或使用unstack

df.DateTime = df.DateTime.dt.strftime('%m/%d/%Y')
df.groupby(['DateTime','Det_ID']).Speed.min().unstack()
Out[300]: 
Det_ID      1201085  1201110
DateTime                    
01/01/2014     65.0     65.0
01/02/2014     64.9     62.5