Question

这个问题来自这个问题：Group by and fill missing datetime values

我要尝试的是按合同对Pandas Dataframe进行分组，检查是否有重复的datetime值并填写该值。如果有重复，则总共将有25个小时，否则将有24个小时。

我的输入是这样

contract         datetime             value1          value2
   x       2019-01-01 00:00:00          50              60
   x       2019-01-01 02:00:00          30              60
   x       2019-01-01 02:00:00          70              80
   x       2019-01-01 03:00:00          70              80
   y       2019-01-01 00:00:00          30              100

有了这个数据框，我的输出应该是这样的：

contract         date              value1                     value2
   x           2019-01-01    [50,NaN,30,70,70,NaN,Nan...]    [60, NaN, Nan...]
   y           2019-01-01    [30, NaN, Nan...]               [100, NaN, NaN...]

非常感谢您。

Answer 1

想法是首先创建列表以供可能使用的先前解决方案：

df['datetime'] = pd.to_datetime(df['datetime'])

df = df.groupby(['contract','datetime']).agg(list)

f= lambda x: x.reindex(pd.date_range(x.index.min().floor('d'),
                                     x.index.max().floor('d')+pd.Timedelta(23, 'H'),
                                     freq='H', name='datetime'))
df1 = (df.reset_index('contract')
         .groupby('contract')['value1','value2']
         .apply(f)
         .reset_index())

最后按contract分组，并用chain.from_iterable进行日期和拼合的列表：

from  itertools import chain

df2 = (df1.groupby(['contract', df1['datetime'].dt.date])
         .agg(lambda x: list(chain.from_iterable(y if y==y else [y] for y in x)))
         .reset_index()
         )
print (df2)
  contract    datetime                                             value1  \
0        x  2019-01-01  [50, nan, 30, 70, 70, nan, nan, nan, nan, nan,...   
1        y  2019-01-01  [30, nan, nan, nan, nan, nan, nan, nan, nan, n...   

                                              value2  
0  [60, nan, 60, 80, 80, nan, nan, nan, nan, nan,...  
1  [100, nan, nan, nan, nan, nan, nan, nan, nan, ...

测试长度：

print (df2[['value1','value2']].applymap(len))
   value1  value2
0      25      25
1      24      24

Answer 2

如果我理解正确，我认为这可能有效：

df['datetime'] = pd.to_datetime(df['datetime'], format='%Y-%m-%d')

然后从那里分组。

（完整披露，我没有仔细检查，但我认为这是获取YYYY-MM-DD的适当格式），以避免混淆，可能值得将['datetime']重命名为其他名称。

分组并使用重复项填充缺少的日期时间值

2 个答案: