汇总各个日期的时间间隔

时间:2018-10-03 08:36:43

标签: python pandas timestamp time-series aggregation

我的熊猫数据帧带有两个时间戳列 开始 结束

    start                      end
2014-08-28 17:00:00 | 2014-08-29 22:00:00
2014-08-29 10:45:00 | 2014-09-01 17:00:00
2014-09-01 15:00:00 | 2014-09-01 19:00:00

目的是汇总给定日期记录的小时数。因此,以我的示例为例。

我将创建日期范围并合并多个条目的小时数。

2014-08-28 -> 7 hrs
2014-08-29 -> 10 hrs + 1 hr 15 min => 11 hrs 15 mins
2014-08-30 -> 24 hrs
2014-08-31 -> 24 hrs
2014-09-01 -> 17 hrs + 6 hrs => 23 hrs

我尝试使用timedelta,但是它仅在绝对小时中分配,而不是每天。

我还尝试过爆炸行(即每天拆分行,但只能使其在日期级别而不是在时间戳级别工作)

任何建议都将不胜感激。

2 个答案:

答案 0 :(得分:1)

您可以使用pd.date_range为每天花费的时间创建minute to minute interval,之后您可以计算花费的分钟数并将其转换为时间增量

start   end
0   2014-08-28 17:00:00 2014-08-29 22:00:00
1   2014-08-29 10:45:00 2014-09-01 17:00:00
2   2014-09-01 15:00:00 2014-09-01 19:00:00


#Creating the minute to minute time intervals from start to end date of each line and creating as one series of dates 
a = pd.Series(sum(df.apply(lambda x: pd.date_range(x['start'],x['end'],freq='min').tolist(),1).tolist(),[])).dt.date
# Counting the each mintue intervals and converting to time stamps
a.value_counts().apply(lambda x: pd.to_timedelta(x,'m'))

出局:

2014-08-29   1 days 11:16:00
2014-08-30   1 days 00:00:00
2014-08-31   1 days 00:00:00
2014-09-01   0 days 21:02:00
2014-08-28   0 days 07:00:00
dtype: timedelta64[ns]

答案 1 :(得分:0)

希望这会很有用。我想您将能够调整以实现您的目标。思维方式如下-将日期和相应的时间存储在字典中。如果是同一天-请写下区别。否则,将时间写入第一个午夜,然后在需要的日子进行迭代,并从最后一个午夜直到结束写入时间。仅供参考...我想2014-09-01的结果可能是21个小时。

from datetime import datetime, timedelta
from collections import defaultdict


s = [('2014-08-28 17:00:00', '2014-08-29 22:00:00'),
     ('2014-08-29 10:45:00', '2014-09-01 17:00:00'),
     ('2014-09-01 15:00:00', '2014-09-01 19:00:00') ]


def aggreate(time):
    store = defaultdict(timedelta)

    for slice in time:
        start = datetime.strptime(slice[0], "%Y-%m-%d %H:%M:%S")
        end = datetime.strptime(slice[1], "%Y-%m-%d %H:%M:%S")

        start_date = start.date()
        end_date = end.date()

        if start_date == end_date:
            store[start_date] += end - start

        else:
            midnight = datetime(start.year, start.month, start.day + 1, 0, 0, 0)
            part1 = midnight - start
            store[start_date] += part1

            for i in range(1, (end_date - start_date).days):
                next_date = start_date + timedelta(days=i)
                store[next_date] += timedelta(hours=24)

            last_midnight = datetime(end_date.year, end_date.month, end_date.day, 0, 0, 0)
            store[end_date] += end - last_midnight

    return store


r = aggreate(s)

for i in r:
    print(i, r[i])

2014-08-28 7:00:00
2014-08-29 1 day, 11:15:00
2014-08-30 1 day, 0:00:00
2014-08-31 1 day, 0:00:00
2014-09-01 21:00:00