Question

我是新手。我有一个数据框，其中包含100个消费者的年度5分钟分辨率电力负荷数据（每个csv具有> 100,000条线）。对于特定的客户，我需要找到每个月最大的半小时滚动需求。由于我的数据是每5分钟一次，因此我将连续汇总6个列负载功率（kW）项

ID  Date_time   load power (kW)
0   1/01/2018 0:00  0.191566105
1   1/01/2018 0:05  0.193145833
2   1/01/2018 0:10  0.192853152
3   1/01/2018 0:15  0.270974475
4   1/01/2018 0:20  0.290183338
5   1/01/2018 0:25  0.185485805
6   1/01/2018 0:30  0.208431765
7   1/01/2018 0:35  0.269577658
8   1/01/2018 0:40  0.268412758
9   1/01/2018 0:45  0.286095837
10  1/01/2018 0:50  0.301008341
11  1/01/2018 0:55  0.390496602
12  1/01/2018 1:00  0.406787652
13  1/01/2018 1:05  0.229862502
14  1/01/2018 1:10  0.190870833
15  1/01/2018 1:15  0.190224999

负载功率（kW）值需要连续求和6个条目（5分钟* 6 = 30分钟），因此索引0-5，索引1-6、2-7 ... 并在每个月的succ_6栏中找到最大值

ID  Date_time   load power (kW) succ_6
0   1/01/2018 0:00  0.191566105 1.324208707
1   1/01/2018 0:05  0.193145833 1.341074367
2   1/01/2018 0:10  0.192853152 1.417506192
3   1/01/2018 0:15  0.270974475 1.493065799
4   1/01/2018 0:20  0.290183338 1.508187161
5   1/01/2018 0:25  0.185485805 1.519012164
6   1/01/2018 0:30  0.208431765 1.724022961
7   1/01/2018 0:35  0.269577658 1.922378848
8   1/01/2018 0:40  0.268412758 1.882663692
9   1/01/2018 0:45  0.286095837 1.805121767
10  1/01/2018 0:50  0.301008341 1.70925093
11  1/01/2018 0:55  0.390496602 1.604063424
12  1/01/2018 1:00  0.406787652 1.408709679
13  1/01/2018 1:05  0.229862502 1.192568766
14  1/01/2018 1:10  0.190870833 1.236928491
15  1/01/2018 1:15  0.190224999 1.321553317

必须每月进行一次

例如0-5、1-6、2-7、3-8 ......

我写了一个效率低下的代码，我认为这是按预期的方式进行的，但是一个消费者要花36分钟，而我需要花100分钟以上的时间。

def monthly_hh_maximum (df_input, filenames,file_path):
    # to store maximum half hourly demand (m_max) for each consumer for each month of year (m_o_y)
    df_m_hh_max =pd.DataFrame(columns=['filename','m_o_y','m_max'])
    # 100 consumers, 100 filenames
    for filename in filenames: 
        print(filename)
        #finds out unique months of year from date in given time series data
        month_o_year=df_input[filename]['Date_conv'].unique()  
        #looping over months of year for one consumer
        for m_o_y in month_o_year:
            # find out the number of days in the given month
            df_input_m_o_y_len=((df_input[filename].loc[df_input[filename]['Date_conv']==m_o_y]))['Date_conv'].size 
            df_temp=df_input[filename].loc[df_input[filename]['Date_conv']==m_o_y]
            print(df_input_m_o_y_len)
            monthly_mm=0 
            for i in range (0,df_input_m_o_y_len-6):
                #Next line retrieves a view of dataframe which has data for that particular
                # month and iteratively sums successive 6 elements of column load power to find the maximum 
                monthly_mm_temp= ((df_input[filename].loc[df_input[filename]['Date_conv']==m_o_y]))['load power (kW)'].iloc[i:i+6].sum()
                print(i)
                print(monthly_mm_temp)
                print(m_o_y)
                if(monthly_mm>monthly_mm_temp):
                    monthly_mm=monthly_mm
                else:
                    monthly_mm=monthly_mm_temp
            df_m_hh_max['filename']=filename
            df_m_hh_max['m_o_y'] = m_o_y
            df_m_hh_max['m_max'] = monthly_mm

由于资源有限，我意识到我的代码效率低下，因此我试图减少计算时间。

Answer 1

鉴于您的示例难以阅读，我想这就是您要查找的内容：

df = pd.DataFrame({'value': np.random.randint(1, 10, 50)})
df['customer'] = (df.index // (df.shape[0] / 2) + 1).astype(int)

以上内容将为2个客户创建随机数据。现在的代码：

rm = df.groupby('customer').value.rolling(6, 1).max()

以上内容将您的数据分为6组，且出现的次数1最少（您可以删除并获取NaN）。

最后，要将其添加为列，请使用：

df.assign(rolling_max=rm.reset_index(level=0, drop=True))

max的想法来自here。

编辑

给出您的示例，现在我将使用此示例：

df['succ_6'] = df['load power (kW)'][::-1].rolling(6, 1).sum()
df.groupby(df['Date_time'].dt.strftime('%B'))['succ_6'].max()

#Date_time
#January    1.922379
#Name: succ_6, dtype: float64

Answer 2

使用@Dan和@Zipa的建议，这里有一个str month列，我按月对它进行分组，然后为每个具有6个元素的级联窗口生成rolling_sum。然后，再次按月分组并生成最大值，然后生成唯一值。我正在生成所有这些值以检查结果。最终代码会短很多。

def demand_a_savings (df_input, filenames,file_path):
    for filename in filenames:
        df_input[filename]['rolling_sum_b'] = df_input[filename].groupby('Month')['load power (kW)'].transform(lambda x: x.rolling(6,6).sum())
        df_input[filename]['max_value_b']=df_input[filename].groupby('Month')['rolling_sum_b'].transform(lambda x:x.max())
        print(df_input[filename]['max_value_b'].unique())

如何迭代求和一个数据帧中一列的元素

2 个答案: