Question

我有一个现有的数据框，看起来像：

    id  start_date  end_date
0   1   20170601    20210531
1   2   20181001    20220930
2   3   20150101    20190228
3   4   20171101    20211031

我正在尝试向此数据框添加85列：

如果月/年（从开始日期到结束日期循环）介于20120101和20190101之间：1
其他：0

我尝试了以下方法：

start, end = [datetime.strptime(_, "%Y%m%d") for _ in ['20120101', '20190201']]
global_list = list(OrderedDict(((start + timedelta(_)).strftime(r"%m/%y"), None) for _ in range((end - start).days)).keys())

def get_count(contract_start_date, contract_end_date):
    start, end = [datetime.strptime(_, "%Y%m%d") for _ in [contract_start_date, contract_end_date]]
    current_list = list(OrderedDict(((start + timedelta(_)).strftime(r"%m/%y"), None) for _ in range((end - start).days)).keys())
    temp_list = []
    for each in global_list:
        if each in current_list:
            temp_list.append(1)
        else:
            temp_list.append(0)
    return pd.Series(temp_list)

sample_df[global_list] = sample_df[['contract_start_date', 'contract_end_date']].apply(lambda x: get_count(*x), axis=1)

和示例df看起来像：

customer_id contract_start_date contract_end_date   01/12   02/12   03/12   04/12   05/12   06/12   07/12   ... 04/18   05/18   06/18   07/18   08/18   09/18   10/18   11/18   12/18   01/19
1   1   20181001    20220930    0   0   0   0   0   0   0   ... 0   0   0   0   0   0   1   1   1   1
9   2   20160701    20200731    0   0   0   0   0   0   0   ... 1   1   1   1   1   1   1   1   1   1
3   3   20171101    20211031    0   0   0   0   0   0   0   ... 1   1   1   1   1   1   1   1   1   1
3 rows × 88 columns

对于小型数据集，它工作正常，但对于16万行，即使3小时后它也没有停止。有人可以告诉我一种更好的方法吗？

同一客户的日期重叠时面临的问题。

Answer 1

首先，我将截止日期截止，以规范end_time（以确保它在时间范围内）：

In [11]: df.end_date = df.end_date.where(df.end_date < '2019-02-01', pd.Timestamp('2019-01-31')) + pd.offsets.MonthBegin()

In [12]: df
Out[12]:
   id start_date   end_date
0   1 2017-06-01 2019-02-01
1   2 2018-10-01 2019-02-01
2   3 2015-01-01 2019-02-01
3   4 2017-11-01 2019-02-01

注意：如果日期在2012年之前，您将需要对start_date做同样的技巧。

我会从各列的日期范围中创建结果DataFrame，然后将其填充（在开始时加上一个，以及其他内容：

In [13]: m = pd.date_range('2012-01-01', '2019-02-01', freq='MS')

In [14]: res = pd.DataFrame(0., columns=m, index=df.index)

In [15]: res.update(pd.DataFrame(np.diag(np.ones(len(df))), df.index, df.start_date).groupby(axis=1, level=0).sum())

In [16]: res.update(-pd.DataFrame(np.diag(np.ones(len(df))), df.index, df.end_date).groupby(axis=1, level=0).sum())

如果同一行中有多行开始或结束，则必须使用groupby sum。

# -1 and NaN were really placeholders for zero
In [17]: res = res.replace(0, np.nan).ffill(axis=1).replace([np.nan, -1], 0)

In [18]: res
Out[18]:
   2012-01-01  2012-02-01  2012-03-01  2012-04-01  2012-05-01     ...      2018-09-01  2018-10-01  2018-11-01  2018-12-01  2019-01-01
0         0.0         0.0         0.0         0.0         0.0     ...             1.0         1.0         1.0         1.0         1.0
1         0.0         0.0         0.0         0.0         0.0     ...             0.0         1.0         1.0         1.0         1.0
2         0.0         0.0         0.0         0.0         0.0     ...             1.0         1.0         1.0         1.0         1.0
3         0.0         0.0         0.0         0.0         0.0     ...             1.0         1.0         1.0         1.0         1.0

在Pandas数据框中的2个日期之间添加日期列

1 个答案: