过滤每个日期的最大记录数的时间戳,并将过滤后的行提取到另一个 df

时间:2021-07-07 03:19:29

标签: python-3.x pandas

我有一个带有时间戳列、另一个日期列和价格列的数据框。 时间戳列更像是特定小时(上午 10 点到上午 11 点之间)的每 5 分钟数据,这些数据正在拉出。 例如:

Timestamp               EndDate             Price  
2021-01-01 10:00:00   2021-06-30 08:00:00    100
2021-01-01 10:00:00   2021-09-30 08:00:00    105
2021-01-01 10:05:00   2021-03-30 08:00:00    102
2021-01-01 10:05:00   2021-06-30 08:00:00    100
2021-01-01 10:05:00   2021-09-30 08:00:00    105
2021-01-01 10:10:00   2021-03-30 08:00:00    102
2021-01-01 10:10:00   2021-06-30 08:00:00    100

2021-01-02 10:00:00   2021-06-30 08:00:00    100
2021-01-02 10:00:00   2021-09-30 08:00:00    105
2021-01-02 10:00:00   2021-03-30 08:00:00    102
2021-01-02 10:00:00   2021-06-30 08:00:00    100
2021-01-02 10:05:00   2021-09-30 08:00:00    105
2021-01-02 10:05:00   2021-03-30 08:00:00    102
2021-01-02 10:05:00   2021-06-30 08:00:00    100

对于每 5 分钟的快照,有些最终有 3 条记录,有些是 2 条记录,有些是 4 条记录。 在那个小时(或一天)内,我想提取一组记录,以便该组包含最大记录数,因此对于上面示例中的 1 月 1 日,它应该提取 1 月 1 日的 10:05 数据,对于 1 月 2 日它应该拉出 10:00 的数据。如果有多个集合的最大记录数相同,则可以拉出当天的最晚时间。

不确定我如何有效地做到这一点,也许使用计数?

1 个答案:

答案 0 :(得分:0)

你可以拆分 timstap 以便更好地使用,所以我这样做了:

import numpy as np
import pandas as pd

filename=(r'C:xxxxxx\Example2.xlsx') 
df0=pd.read_excel(filename)
df0['new_date'] = [d.date() for d in df0['Timestamp']]
df0['new_time'] = [d.time() for d in df0['Timestamp']]

这产生: enter image description here

然后我们可以使用 groupby() 和 thn apply() 来计算值如下:

df = df0.groupby('new_date')['new_time'].apply(lambda x: 
x.value_counts().index[0]).reset_index()

产生: enter image description here