为pandas中的不规则时间序列创建加权平均值

时间:2014-10-13 15:12:38

标签: python pandas weighted-average

来自具有可变时间步长的模拟数据我有一个不规则的时间向量作为我的值的索引,它们存储在pandas.DataFrame中。

让我们考虑一个简化的测试用例:

import pandas as pd
import datetime
time_vec = [datetime.time(0,0),datetime.time(0,0),datetime.time(0,5),datetime.time(0,7),datetime.time(0,10)]
df = pd.DataFrame([1,2,4,3,6],index = time_vec)

使用正常的df.mean()函数会得到答案3.2,只有当时间向量是等距的时才会出现这种情况。

我认为正确的结果是3.55,第一个时间步长(零秒长),平均值是1.5,对于第二个时间步,平均值是3(五分钟长)等,这导致:

1.5 * 0 + 3*5 + 3.5 * 2 + 4.5 * 3 = 35.5

导致平均3.55(35.5 /(0 + 5 + 2 + 3))。

有没有一种有效的方法来实现熊猫?

这应该最终会产生类似

的结果
df.resample('15M',how = 'This very Method I am looking for') 

用等距时间向量创建平均值。

1 个答案:

答案 0 :(得分:2)

好吧,我想出了如何解决我的问题。我不知道,如果这是一个很好的解决方案,但它的确有效。

我通过datetime.time交换datetime.datetime来更改问题中的原始代码,否则它将无效(total_seconds()没有方法datetime.time-Objects)。我还必须导入numpy才能使用numpy.average。

所以现在的代码是:

import datetime
import numpy as np
import pandas as pd
time_vec =     [datetime.datetime(2007,1,1,0,0)
               ,datetime.datetime(2007,1,1,0,0) 
               ,datetime.datetime(2007,1,1,0,5)     
               ,datetime.datetime(2007,1,1,0,7)
               ,datetime.datetime(2007,1,1,0,10)]
df = pd.DataFrame([1,2,4,3,6],index = time_vec)

这个小功能解决了我的问题:

def time_based_weighted_mean(tv_df):
    time_delta = [(x-y).total_seconds() for x,y in zip(df.index[1:],df.index[:-1])]
    weights = [x+y for x,y in zip([0]+ time_delta,time_delta+[0])]
    res = np.average(df[0],weights = weights) 
    return res
print time_based_weighted_mean(df[0])

我首先尝试使用pd.index.diff()来计算time_delta-Array,但这导致了numpy.datetime64系列,我不知道如何将它们转换为浮点数,np.average需要浮点作为权重的输入类型。

我很感谢任何改进代码的建议。