熊猫:按特定日期分组

时间:2019-01-30 08:59:22

标签: python python-3.x pandas

我想按特定日期划分数据帧,并将截止日期划分为3月31日。这意味着3月31日之前的所有内容都应属于一个数据帧,而3月31日之后的所有内容均应属于下一个数据帧,依此类推。数据如下:

                    c_name       date  revenue  t_rev
310260  1-800 CONTACTS INC 1997-01-31    3.628      0
296014  1-800 CONTACTS INC 1998-01-31    6.970      0
291248  1-800 CONTACTS INC 1998-05-06   10.429      0
287356  1-800 CONTACTS INC 1998-08-11   12.801      0
283720  1-800 CONTACTS INC 1998-11-10   18.419      0
279837  1-800 CONTACTS INC 1999-02-24   18.227      0
277333  1-800 CONTACTS INC 1999-04-27   22.304      0
274650  1-800 CONTACTS INC 1999-07-20   23.960      0
269885  1-800 CONTACTS INC 1999-10-26   26.890      0
265851  1-800 CONTACTS INC 2000-02-07   25.371      0

预期输出:

df1:
                        c_name       date  revenue  t_rev
    310260  1-800 CONTACTS INC 1997-01-31    3.628      0

df2:
                        c_name       date  revenue  t_rev
    296014  1-800 CONTACTS INC 1998-01-31    6.970      0

df3:
                        c_name       date  revenue  t_rev
    291248  1-800 CONTACTS INC 1998-05-06   10.429      0
    287356  1-800 CONTACTS INC 1998-08-11   12.801      0
    283720  1-800 CONTACTS INC 1998-11-10   18.419      0
    279837  1-800 CONTACTS INC 1999-02-24   18.227      0

df4: 

                         c_name       date  revenue  t_rev
    277333  1-800 CONTACTS INC 1999-04-27   22.304      0
    274650  1-800 CONTACTS INC 1999-07-20   23.960      0
    269885  1-800 CONTACTS INC 1999-10-26   26.890      0
    265851  1-800 CONTACTS INC 2000-02-07   25.371      0

到目前为止,我的代码如下:

import pandas as pd


path = 'C:/Users/Adrian/Desktop/'
df = pd.read_csv(path + "trailing.csv", low_memory=False, usecols=[0, 3, 6])
df.rename(columns={'report_dte': 'date'}, inplace=True)
df['date'] = pd.to_datetime(df['date'], format="%d/%m/%Y")
df = df.sort_values(["date"], ascending=True)
df['t_rev'] = 0

df2 = df.groupby("c_name")
counter = 0
for c_name, df_name in df2:
    counter += 1

    print(df_name.sort_values(['date'], ascending=True))
    print(len(df_name.index))
    if counter == 1:
        break

@Josh Friedlander,@ Jeril和@KeepAlive解决方案可以正常工作。谢谢大家!

3 个答案:

答案 0 :(得分:2)

我尝试运行此代码,但我想它应该可以工作。

def getFiscalYear(dt):
    year = dt.year
    if dt.month<4: year -= 1
    return year

df['year'] = df['date'].apply(getFiscalYear)
df.groupby('year')

确保“日期”列的类型为pd.datetime。我们在这里所做的是,我们试图基于财务年度创建一个列,并根据该列进行分组。

如果您想为每年创建一个数据框,则可以遍历“年”列并随时创建新的数据框。

df_dict = {}
for year in df['year'].unique():
    df_dict[year] = df[df['year' == year]]

答案 1 :(得分:2)

更好的方法是内置Period内置的Pandas:

df['year'] = df.date.dt.to_period('A-MAR')  # assigns years ending in March
dfs = [df.loc[df.year == year] for year in df.year.unique()]  
# gives list of dfs divided by year

答案 2 :(得分:1)

怎么办

import datetime as dt

years        = range(1997, 2000 + 1)
df['date64'] = df.date.astype("datetime64")

for y,year in enumerate(years):
    min_date = dt.datetime(year    , 3, 31)
    max_date = dt.datetime(year + 1, 3, 31)

    globals()[f'df{y+1}'] = df.loc[
        (min_date < df.date64) & (df.date64 <= max_date)
    ].copy()

已在全局环境中注入了df1df2df3df4。暂不讨论这是否是一个好习惯。


最好避免像这样在全局环境中直接玩:提倡将df的截短版本保存在内部,例如,名为dfs的{​​{3}}:

dfs = {}
#...
    #...
    dfs[y+1] = df.loc[
        (min_date < df.date64) & (df.date64 <= max_date)
    ].copy()

或用dictionnary

做同样的事情
dfs = []
#...
    #...
    dfs.append(
        df.loc[(min_date < df.date64) & (df.date64 <= max_date)].copy()
    )