Question

我正在尝试通过Pandas中的csv文件（通过一列：ID）进行分组，以获得最早的开始日期和最晚的结束日期。然后我尝试按多列分组，以获得值的SUM。对于第二个按组合数据帧中的每个ID，我想要显示日期。

我正在加载csv以便分组和汇总数据。

01）首先我加载csv

def get_csv():
        #Read csv file
        df = pd.read_csv('myFile.csv', encoding = "ISO-8859-1",parse_dates=['Start Date', 'End Date'])

        return df

02）对列（ID和网站）的数据进行分组和汇总

def do_stuff():
     df = get_csv()   
     groupedBy = df[df['A or B'].str.contains('AAAA')].groupby([df['ID'], df['Site'].fillna('Other'),]).agg({'Start Date': 'min', 'End Date': 'max', 'Value': 'sum'})

按预期工作，我得到以下（示例）：

03）理想情况下，对于相同的ID，我想在“开始日期”列中显示最早的日期，在“结束日期”列中显示最新的日期。值的聚合完美地起作用。我想得到的是以下内容：

我不知道如何更改上面的当前代码。到目前为止我试过这个：

def do_stuff():
    df = get_csv()
    md = get_csv()

    minStart = md[md['A or B'].str.contains('AAAA')].groupby([md['ID']]).agg({'Start Date': 'min'})

    df['earliestStartDate'] = minStart

    groupedBy = df[df['A or B'].str.contains('AAAA')].groupby([df['ID'], df['Site'].fillna('Other'),df['earliestStartDate']]).agg({'Start Date': 'min', 'End Date': 'max', 'Value': 'sum'})

失败并尝试将上述内容更改为：

def do_stuff():
    df = get_csv()
    md = get_csv()

    df['earliestStartDate'] = md.loc[ md['ID'] == df['ID'], 'Start Date'].min()

    groupedBy = df[df['A or B'].str.contains('AAAA')].groupby([df['ID'], df['Site'].fillna('Other'),df['earliestStartDate']]).agg({'Start Date': 'min', 'End Date': 'max', 'Value': 'sum'})

理想情况下，我只需更改groupsBy中的内容，而不必两次读取csv并将数据聚合两次。那可能吗？如果没有，我可以更改什么使脚本工作？我试图测试随机的东西，以获得更多的熊猫和Python经验。

我猜我必须在这里创建两个dataframes。一个获取所需列的groupedby数据（以及值的SUM）。第二个获取每个ID的最早开始日期和最晚结束日期。然后我需要找到一种方法来连接两个dataframes。这是一个好结果还是你认为有更简单的方法来实现这一目标？

UPD：我创建了两个数据帧的代码（不确定这是否是正确的解决方案）如下：

#Read csv file
df = pd.read_csv('myFile.csv', encoding = "ISO-8859-1",mangle_dupe_cols=True, parse_dates=['Start Date', 'End Date'])
md = pd.read_csv('myFile.csv', encoding = "ISO-8859-1",mangle_dupe_cols=True, parse_dates=['Start Date', 'End Date'])


#Calculate the Clean Value
df['Clean Cost'] = (df['Value'] - df['Value2']) #.apply(lambda x: round(x,0))

#Get the min/max Dates
minMaxDates = md[md['Random'].str.contains('Y')].groupby([md['ID']]).agg({'Start Date': 'min', 'End Date': 'max'})

#Group by and aggregate (return Earliest Start Date, Latest End Date and SUM of the Values)
groupedBy = df[df['Random'].str.contains('Y')].groupby([df['ID'], df['Site'].fillna('Other')]).agg({'Start Date': 'min', 'End Date': 'max', 'Value': 'sum', 'Value2': 'sum', 'Clean Cost': 'sum'})

如果我打印两个数据帧，我得到以下内容：

和

如果我打印df.head（），我会得到以下内容：

  ID A or B Start Date   End Date  Value  Site  Value2 Random                                                 alse.

0 45221 AAAA 2017-12-30 2017-09-30 14 S111 7 Y 1 45221 AAAA 2017-01-15 2017-09-30 15 S222 7 Y 2 85293 BBBB 2017-05-12 2017-07-24 29 S111 3 Y 3 85293 AAAA 2017-03-22 2017-10-14 32 S222 4 Y 4 45221 AAAA 2017-01-15 2017-09-30 30 S222 7 Y

此处提供了该文件的链接：LINK

Answer 1

我认为你需要transform：

df = pd.read_csv('sampleBionic.csv')
print (df)
      ID A or B  Start Date    End Date  Value  Site  Value2 Random
0  45221   AAAA  12/30/2017  09/30/2017     14  S111       7      Y
1  45221   AAAA  01/15/2017  09/30/2017     15  S222       7      Y
2  85293   BBBB  05/12/2017  07/24/2017     29  S111       3      Y
3  85293   AAAA  03/22/2017  10/14/2017     32  S222       4      Y
4  45221   AAAA  01/15/2017  09/30/2017     30  S222       7      Y

groupedBy = (df[df['A or B'].str.contains('AAAA')]
                            .groupby([df['ID'], df['Site'].fillna('Other'),])
                            .agg({'Start Date': 'min', 'End Date': 'max', 'Value': 'sum'}))
print (groupedBy)    
            Start Date    End Date  Value
ID    Site                               
45221 S111  12/30/2017  09/30/2017     14
      S222  01/15/2017  09/30/2017     45
85293 S222  03/22/2017  10/14/2017     32

g = groupedBy.groupby(level=0)              
groupedBy['Start Date'] = g['Start Date'].transform('min') 
groupedBy['End Date'] = g['End Date'].transform('max')
print (groupedBy)
            Start Date    End Date  Value
ID    Site                               
45221 S111  01/15/2017  09/30/2017     14
      S222  01/15/2017  09/30/2017     45
85293 S222  03/22/2017  10/14/2017     32

Answer 2

我设法创建了一个可以实现我想要的脚本。如果将来有人需要，我会粘贴答案。 Jezrael的回答也很好。所以，考虑到原来的csv是这样的：

我的sript是：

import pandas as pd
import os
import csv
import time
import dateutil.parser as dparser
import datetime


def get_csv():
        #Read csv file
        df = pd.read_csv('myFile.csv', encoding = "ISO-8859-1",mangle_dupe_cols=True, parse_dates=['Start Date', 'End Date'])
        df = df[df['A or B'].str.contains('AAAA')]

        return df

def do_stuff():
    df = get_csv()

    #Get the min Start Date, max End date, sum of the Value and Value2 and calculate the Net Cost
    varA      = 'ID';
    dfGrouped = df.groupby(varA, as_index=False).agg({'Start Date': 'min', 'End Date': 'max'}).copy();

    varsToKeep = ['ID', 'Site', 'Random', 'Start Date_grp', 'End Date_grp', 'Value', 'Value2', ];
    dfTemp = pd.merge(df, dfGrouped, how='inner', on='ID', suffixes=(' ', '_grp'), copy=True)[varsToKeep];

    dfBreakDown = dfTemp.groupby(['ID', 'Site', 'Random', 'Start Date_grp',
        'End Date_grp']).sum()

    #Calculate the Net Cost
    dfTemp['Net Cost'] = (dfTemp['Value'] - dfTemp['Value2'])

    groupedBy = dfTemp.groupby(['ID', 'Site', 'Random']).agg({'Start Date_grp': 'min', 'End Date_grp': 'max', 'Value': 'sum', 'Value2': 'sum', 'Net Cost': 'sum'})

    csvoutput(groupedBy)

def csvoutput(df):
        #Csv output
        df.to_csv(path_or_buf='OUT.csv', sep=',', na_rep='', float_format=None, columns=None, header=True, index=True, index_label=None, mode='w', encoding=None, compression=None, quoting=None, quotechar='"', line_terminator='\n', chunksize=None, tupleize_cols=False, date_format=None, doublequote=True, escapechar=None, decimal='.')

if __name__ == "__main__":
        #  start things here
        do_stuff()

Pandas组，聚合两列并返回一列的最早开始日期

2 个答案: