如何在groupby上应用自己的构建功能

时间:2019-05-29 13:12:08

标签: python pandas dataframe

我找不到适合我问题的线程...如果不正确,请毫不犹豫地将链接发布到该线程。

我有以下数据框,需要分析。这是它的头:



                     EMBieding  AeolisBieding  ...  Diff_EM  Diff_Aeolis
StartTime                                      ...                      
2019-09-01 00:00:00    3058.24         3494.0  ... -3126.24      -3562.0
2019-09-01 01:00:00    2906.01         3480.0  ... -2974.01      -3548.0
2019-09-01 02:00:00    2836.22         3470.0  ... -2903.22      -3537.0
2019-09-01 03:00:00    2805.66         3448.0  ... -2848.66      -3491.0
2019-09-01 04:00:00    2541.54         3413.0  ... -2606.54      -3478.0

除了总体错误度量外,我还想找出每小时的错误。 这意味着必须汇总0-23之间的小时数。 使用以下代码,很容易找到均值:

data= importdata('871687110001543570.csv')
data_perhour = data.groupby(data.index.hour).mean()
data_perhour.drop
print(data_perhour)

我可以轻松地找到每一列的均值。

             EMBieding  AeolisBieding  ...     Diff_EM  Diff_Aeolis
StartTime                              ...                         
0          1175.862033    1279.577236  ... -253.707561  -357.422764
1          1153.947724    1264.723577  ... -309.435528  -420.211382
2          1146.239016    1259.459016  ... -336.763607  -449.983607
3          1133.350976    1251.268293  ... -390.928211  -508.845528
4          1127.061789    1251.300813  ... -405.411382  -529.650407

我使用的错误度量是NBIAS,NMAE和NRMSE。我用以下方法计算

# statistic calculates the different errormeasurements: NBIAS,NMAE,NRMSE. Input arguments are: data; this is the output from the
# importdata function. parksize; which is just the installed power of the respective farm, for normalization. filename
# is needed to produce a unique new filename.
def statistic(data,park_size,filename):
    def NBIAS(Diff_forecaster,park_size):
        return data[Diff_forecaster].mean()/park_size

    def NMAE(Bied_forecaster,park_size):
        return mean_absolute_error(data['Production'], data[Bied_forecaster]) /park_size

    def NRMSE(Bied_forecaster,park_size):
        return (sqrt(mean_squared_error(data['Production'], data[Bied_forecaster])) /np.square(park_size))

# Calculate the overall errormeasure and save it directly in a external .csv
    ErrorMeasure = {'EM':[NBIAS('Diff_EM',park_size),NMAE('EMBieding',park_size),NRMSE('EMBieding',park_size)],
                    'Aeolis':[NBIAS('Diff_Aeolis',park_size),NMAE('Bied',park_size ),NRMSE('Bied',park_size)]}
    df_ErrorMeasure = pd.DataFrame(ErrorMeasure,index=['NBIAS','NMAE','NRMSE'])
    df_ErrorMeasure.to_csv('errormeasure'+filename)

    data_perhour=data.groupby(data.index.hour).apply(NBIAS('EMBieding',park_size))

    print(data_perhour)

最后两行是每小时获取NBIAS的尝试。但是,出现此错误:

TypeError: 'numpy.float64' object is not callable

如何获取每小时的错误度量?这就是说,我可以使用自己的函数(如.NBIAS)来替换.mean之后的data.groupby(data.index.hour)

有人建议吗?

2 个答案:

答案 0 :(得分:0)

NBIAS返回均值(浮点数)除以park_size。如错误消息所述,这是一个数字numpy.float64apply接受可调用项,例如函数或lambda。

相反,请尝试:


data_perhour=data.groupby(data.index.hour).apply(lambda p: NBIAS('EMBieding',p))

答案 1 :(得分:0)

Pandas groupby apply接受一个可调用对象,该可接收对象接收与该组相对应的数据帧的子集作为参数。您的问题是NBIAS函数对此没有参数,并且会作用于原始数据帧。

要在groupby中使用它,您需要对其进行调整:

def statistic(data,park_size,filename):
    def NBIAS(Diff_forecaster,park_size, df=data):
        return df[Diff_forecaster].mean()/park_size

然后您可以通过以下方式使用它:

data_perhour=data.groupby(data.index.hour).apply(lambda subdf: NBIAS('EMBieding',park_size, subdf))

print(data_perhour)