熊猫日期时间周未达到预期

时间:2019-04-28 11:24:23

标签: python pandas datetime pandas-groupby

在使用Pandas日期时间时,我试图按星期和年份对数据进行分组。但是,我发现有些年份的最后一天与同年的第一周分组在一起。

import pandas as pd
day_df = pd.DataFrame(index=pd.date_range('2016-01-01', '2020-12-31'))

for (week, year), subset in day_df.groupby([day_df.index.week, day_df.index.year]):
     if week == 1:
         print('Week:', subset.index.min(), subset.index.max())

Week: 1 2016-01-04 00:00:00 2016-01-10 00:00:00
Week: 1 2017-01-02 00:00:00 2017-01-08 00:00:00
Week: 1 2018-01-01 00:00:00 2018-12-31 00:00:00
Week: 1 2019-01-01 00:00:00 2019-12-31 00:00:00
Week: 1 2020-01-01 00:00:00 2020-01-05 00:00:00

对于2018年和2019年,一年的第一天以一年的最后一天分组!这是预期的行为吗?为什么一年的最后一天是第1周?

我已经通过基本的if语句获得了想要的结果,但是这种week的行为似乎会导致问题,因为这是意外的。

这符合我对分组的意图:

for (week, year), subset in day_df.groupby([day_df.index.week, day_df.index.year]):
    # Prevent first week of year from including final days of same year
    if set(subset.index.month.unique()) == set([1, 12]):
        subset = subset.loc[subset.index.month == 1]
    if week == 1:
        print('Week:', week, subset.index.min(), subset.index.max())

Week: 1 2016-01-04 00:00:00 2016-01-10 00:00:00
Week: 1 2017-01-02 00:00:00 2017-01-08 00:00:00
Week: 1 2018-01-01 00:00:00 2018-01-07 00:00:00
Week: 1 2019-01-01 00:00:00 2019-01-06 00:00:00
Week: 1 2020-01-01 00:00:00 2020-01-05 00:00:00

1 个答案:

答案 0 :(得分:2)

对此的答案在于,.week()是一周的序数。 .week()方法在文档中的最低定义为:

DatetimeIndex.week

  

一年中的第几周

周序号被正式称为ISO周日期。可以在python 3.7.3 datetime文档的date.isocalendar()下找到有关python的更多注释。有关周序工作原理的一般说明,您可以在ISO week date的维基百科中找到完整的详细信息。

可以在EpochConverter.com上找到2019年的周序号,其中清楚地显示了一年的第一天,即2018年12月31日。

如果我们查看2019年的第1周,我们会看到12月31日是第一天,并开始了2019年的第1周。因此,这实际上符合您年初将其包含在过滤器中的条件。

下面,我们过滤2018年底和2019年初,以了解.week在做什么。

day_df["ordinal"] = day_df.index.week
day_df["day_of_week"] = day_df.index.weekday
print(day_df.loc["2018-12-28":"2019-01-08"])



             ordinal  day_of_week
2018-12-28       52            4
2018-12-29       52            5
2018-12-30       52            6
2018-12-31        1            0
2019-01-01        1            1
2019-01-02        1            2
2019-01-03        1            3
2019-01-04        1            4
2019-01-05        1            5
2019-01-06        1            6
2019-01-07        2            0
2019-01-08        2            1

您将需要添加一个月标准,以确保它是您在上述问题中发现的1月。这也可以。

for (week, month, year), subset in day_df.groupby(
    [day_df.index.week, day_df.index.month, day_df.index.year]
):
    if week == 1 and month == 1:
        print("Week:", subset.index.min(), subset.index.max())

如果您希望第一天从同一天开始,请使用[pandas.period.strftime()] 5

%U定义为

  

一年中的星期几(星期日为一周的第一天),以十进制数[00,53]。新年第一天之前的所有天数   星期日被认为是在第0周。

对于您的数据框,它看起来像:

day_df['date'] = day_df.index
day_df["day_name"] = day_df['date'].dt.day_name()
day_df['str_from_time'] = day_df['date'].apply(lambda x: x.strftime("%U"))
day_df.loc["2018-12-28":"2019-01-08",['ordinal', 'str_from_time', 'day_of_week', 'day_name']]

            ordinal str_from_time  day_of_week   day_name
2018-12-28       52            51            4     Friday
2018-12-29       52            51            5   Saturday
2018-12-30       52            52            6     Sunday
2018-12-31        1            52            0     Monday
2019-01-01        1            00            1    Tuesday
2019-01-02        1            00            2  Wednesday
2019-01-03        1            00            3   Thursday
2019-01-04        1            00            4     Friday
2019-01-05        1            00            5   Saturday
2019-01-06        1            01            6     Sunday
2019-01-07        2            01            0     Monday
2019-01-08        2            01            1    Tuesday