使用条件合并日期范围内某个日期的两个数据框

Question

我有如下日历数据框。

calendar = pd.DataFrame({"events": ["e1", "e2", "e3"],
                         "date_start": ["2021-02-01", "2021-02-06", "2021-02-03"],
                         "date_end":["2021-02-04", "2021-02-07", "2021-02-03"],
                         "country": ["us", "us", "uk"]})
calendar["date_start"] = pd.to_datetime(calendar["date_start"])
calendar["date_end"] = pd.to_datetime(calendar["date_end"])

我有一个每日数据框，如下所示。

daily = pd.DataFrame({"date": pd.date_range(start="2021-02-01", end="2021-02-08"),
                      "value":[10, 20, 30, 40, 50, 60, 70, 80]})

我只想从美国获取事件并加入每日数据框，但加入条件是（日期 >= date_start）和（日期 <= date_end）。所以预期的输出看起来像这样

date              value   events
2021-02-01        10      e1
2021-02-02        20      e1
2021-02-03        30      e1
2021-02-04        40      e1
2021-02-05        50
2021-02-06        60      e2
2021-02-07        70      e2
2021-02-08        80

我可以进行循环，但效果不佳。我可以给您建议如何以更好的方式进行。

Answer 1

使用df.merge：

# Do a cross-join on the `tmp` column
In [2279]: x = calendar.assign(tmp=1).merge(daily.assign(tmp=1))

# Filter rows by providing your conditions
In [2284]: x = x[x.date.between(x.date_start, x.date_end) & x.country.eq('us')]

# Left-join with `daily` df to get all rows
In [2289]: ans = daily.merge(x[['date', 'events']], on='date', how='left')

In [2290]: ans
Out[2290]: 
        date  value events
0 2021-02-01     10     e1
1 2021-02-02     20     e1
2 2021-02-03     30     e1
3 2021-02-04     40     e1
4 2021-02-05     50    NaN
5 2021-02-06     60     e2
6 2021-02-07     70     e2
7 2021-02-08     80    NaN

Answer 2

这是您问题的可能答案。

import numpy as np
import pandas as pd
data_temp_1 = pd.merge(daily,calendar,how='cross')
data_temp_2 = data_temp_1.query('country=="us"')
indices = np.where((data_temp_2['date'] >= data_temp_2['date_start']) & (data_temp_2['date'] <= data_temp_2['date_end']),True,False)
final_df = data_temp_2[indices]
final_df.reset_index(drop=True,inplace=True)

要获得预期的df，我们可以使用代码

• expected_df = pd.merge(daily,final_df,how='left')[['date','value','events']]

Answer 3

可以先展开日历，然后按天合并：

calendar['date'] = [pd.date_range(s, e, freq='d') for s, e in 
   zip(calendar['date_start'], calendar['date_end'])]
calendar = calendar.explode('date').drop(['date_start', 'date_end'], axis=1)
events = calendar.merge(daily, how='inner', on='date')
us_events = events[events.country == 'us'].drop('country', axis=1)[['date', 'value', 'events']]

我认为它比提供的其他答案更快（没有 apply）。