查找标准偏差和按大熊猫的星期几分组的时间平均值

时间:2017-01-06 23:18:48

标签: python python-3.x pandas statistics

这是获得基于星期几的标准偏差和平均值的首选方法吗?

如何按TargetName分组平均时间,标准差,以及day_of_week分组?

另外,我如何将一系列标准差和均值转换为适当的时间格式?我试图循环播放这个系列节目。并且成功地执行datetime.timedelta(seconds = item),但更喜欢使用更多的pandas方式来执行操作。感谢您的反馈意见。

我有一个数据集,其中包含日期时间戳,如下所示:

Date        Time       TargetUser
10/10/2012  20:20:01   joe
10/11/2012  02:20:01   bob
10/13/2012  21:20:01   smo
10/16/2012  22:20:01   joe

我正在创建星期几列,如下所示:

df['my_dates'] = pd.to_datetime(df['Date'])
df['day_of_week'] = df['my_dates'].dt.dayofweek
days = {dict of days of week ie 0:"Mon"}
df['day_of_week'] = df['day_of_week'].apply(lambda x: days[x])

我正在创建列,以便在一天内计算总计秒数并创建一列:

df[['HH', 'MM','SS']] = df['Time'].str.split(':', expand=True)
df['seconds'] = (((df['HH'].astype(int) * 60) + df['MM'].astype(int)) * 60) + df['SS'].astype(int)

然后我通过以下方式确定每周平均时间和标准差:

meantime = df['seconds'].groupby([df['day_of_week']]).mean()
std = df['seconds'].groupby([df['day_of_week']]).std(ddof=1)

(不基于以上数据) 预期产出:

Name          Day_of_week       Mean        STD
joe           mon               15:01:01    00:08:02
              tue               10:01:01    00:01:06 
bob           mon               11:11:11    00:20:30
smo           thur              07:07:07    00:03:02

1 个答案:

答案 0 :(得分:2)

您应该能够通过连接日期和时间,然后使用pandas优秀的日期时间访问者dt来大大简化您的工作。

df['DateTime'] = pd.to_datetime(df['Date'] + ' ' + df['Time'])
df['day_of_week'] = df.DateTime.dt.strftime('%a')
df['seconds'] = pd.to_timedelta(df.DateTime.dt.time.astype(str)).dt.seconds

哪个给你这个

         Date      Time TargetUser            DateTime day_of_week  seconds
0  10/10/2012  20:20:01        joe 2012-10-10 20:20:01         Wed    73201
1  10/11/2012  02:20:01        bob 2012-10-11 02:20:01         Thu     8401
2  10/13/2012  21:20:01        smo 2012-10-13 21:20:01         Sat    76801
3  10/16/2012  22:20:01        joe 2012-10-16 22:20:01         Tue    80401

然后按用户分组和星期几执行以下操作以重命名列。

df1 = df.groupby(['TargetUser', 'day_of_week'])\
  .agg({'seconds':{'mean': lambda x: pd.to_timedelta(x.mean(), 's'), 
                   'std': lambda x: pd.to_timedelta(np.std(x, ddof=1))}})

df1

的最终输出
                        seconds    
                           mean std
TargetUser day_of_week             
bob        Thu         02:20:01 NaT
joe        Tue         22:20:01 NaT
           Wed         20:20:01 NaT
smo        Sat         21:20:01 NaT

要删除上面的列级别并将索引转换为列,您可以执行以下操作:

df1.columns = df1.columns.droplevel()
df1.reset_index()