Question

我有一个DataFrame id和date s。我想创建另一个DataFrame，列出在给定月份内是否存在id，在预定义的时间段内（全部说2018年）。此外，如果存在2个月或更短的存在差距，我想填写它们。

我认为我要包括第一部分，因为从一开始就有更好的解决方案。这是起始df

import pandas as pd
import numpy as np
df = pd.DataFrame({'id': [1,1,1,1,1,2,2,2,3],
                 'date': ['2018-02-01', '2018-03-12', '2018-05-10', 
                         '2018-10-10', '2018-11-04', '2018-06-07', '2018-07-07', 
                         '2018-09-16', '2018-02-02']})
df['date'] = pd.to_datetime(df.date)

要使其存在df_exist，我会创建一个新列id_exists并合并平铺时间段df_per

df['id_exists'] = True
per = pd.date_range('2018-01-01', '2018-12-31', freq='MS')

df_per = pd.DataFrame({'id': np.tile(df.id.unique(), len(per)),
    'Period': np.repeat(per,df.id.nunique())})
df_exist = df_per.merge(df, left_on=['id', df_per.Period.dt.year, df_per.Period.dt.month],
             right_on=['id', df.date.dt.year, df.date.dt.month], how='left').drop(columns='date').fillna(False)

#      Period  id  id_exists
#0 2018-01-01   1      False
#1 2018-01-01   2      False
#2 2018-01-01   3      False
#3 2018-02-01   1       True
#4 2018-02-01   2      False

我决定fillna使用False因为这允许我使用下面的函数和cumsum，但当然有一个解决方案可以使用{{1}这同样好。

现在我已经定义了一个似乎可以做我想要的功能：索引比较确保我不会在任一边填充东西，并且与gap_size的比较确保我只填充小间隙。 if-else确保无论第一个条目在存在NaN中是真还是假，它都能正常工作。

df

然而，对于大型def FillGaps(df, gap_size): gb = df.groupby(df.id_exists.cumsum()).size() if df.id_exists.values[0] == False: to_fill = gb[(gb.index > gb.index.min()) & (gb.index < gb.index.max()) & (gb.values <= gap_size)].index.values else: to_fill = gb[(gb.index < gb.index.max()) & (gb.values <= gap_size)].index.values df.loc[df.id_exists.cumsum().isin(to_fill), 'id_exists'] = True return df df_exist = df_exist.groupby('id').apply(lambda df: FillGaps(df, gap_size=2))来说，速度相当慢。关于如何加快速度的任何想法？它看起来不像任何内置的DataFrame方法适用于填补空白的这种情况，可能存在多个空白。

这是预期的输出。（我已经做了一些合并，所以它没有被格式化为一个烦人的长表）。关键是没有边缘受到干扰，只有2个月或更短的间隙被填满，fillna只有一个值开始时没有失败。

id==3

Answer 1

这是一种方法：

month = df.date - pd.Timedelta('1 day') * (df.date.dt.day - 1)
df_exist = df.id.astype(str).str.get_dummies().groupby(month).sum() != 0

def fill_gaps(arr):
    notnan, = (~np.isnan(arr)).nonzero()
    return np.nan if not notnan.size else arr[notnan[-1]]

date_range = pd.date_range('2018-01-01', '2018-12-31', freq='MS')
rolling = df_exist.reindex(date_range).rolling(window=2, min_periods=1)
result = rolling.apply(fill_gaps).fillna(False).astype(bool)
result[date_range > month.max()] = False

第一部分应该比手动连接快得多。第二部分使用滚动API来处理数据帧。

输出如下：

                1      2      3
2018-01-01  False  False  False
2018-02-01   True  False   True
2018-03-01   True  False  False
2018-04-01   True  False  False
2018-05-01   True  False  False
2018-06-01  False   True  False
2018-07-01  False   True  False
2018-08-01  False   True  False
2018-09-01  False   True  False
2018-10-01   True  False  False
2018-11-01   True  False  False
2018-12-01  False  False  False

似乎与您的示例中的结果相符。

是否有一种快速方法可以填补间隙（可能是多个）之间的NA值，并且只有在间隙低于特定尺寸时才会填充NA值？

1 个答案: