Question

我需要执行合并以将一组新的id映射到一组旧的ID。我的起始数据如下所示：

lst = [10001, 20001, 30001]
dt = pd.date_range(start='2016', end='2018', freq='M')
idx = pd.MultiIndex.from_product([dt,lst],names=['date','id'])
df = pd.DataFrame(np.random.randn(len(idx)), index=idx)

In [94]: df.head()
Out[94]:
                         0
date       id
2016-01-31 10001 -0.512371
           20001 -1.164461
           30001 -1.253232
2016-02-29 10001 -0.129874
           20001  0.711938

我想使用如下所示的数据将id映射到newid：

df1 = pd.DataFrame({'id': [10001, 10001, 10001, 10001],
'start_date': ['2015-11-31', '2016-02-01', '2016-05-16', '2017-02-16'],
'end_date': ['2016-01-31', '2016-05-15', '2017-02-15', '2018-04-02'],
'new_id': ['ABC123', 'XYZ789', 'HIJ456', 'LMN654']},)
df2 = pd.DataFrame({'id': [20001, 20001, 20001, 20001],
'start_date': ['2015-10-07', '2016-01-08', '2016-06-02', '2017-02-13'],
'end_date': ['2016-01-07', '2016-06-01', '2017-02-12', '2018-03-017'],
'new_id': ['CBA321', 'ZYX987', 'JIH765', 'NML345']},)
df3 = pd.DataFrame({'id': [30001, 30001, 30001, 30001],
'start_date': ['2015-07-31', '2016-02-23', '2016-06-17', '2017-05-12'],
'end_date': ['2016-02-22', '2016-06-16', '2017-05-11', '2018-01-05'],
'new_id': ['CCC333', 'XXX444', 'HHH888', 'III888']},)
df_ranges = pd.concat([df1,df2,df3])
In [95]: df_ranges.head()
Out[95]:
   index    end_date     id  new_id  start_date
0      0  2016-01-31  10001  ABC123  2015-11-31
1      1  2016-05-15  10001  XYZ789  2016-02-01
2      2  2017-02-15  10001  HIJ456  2016-05-16
3      3  2018-04-02  10001  LMN654  2017-02-16
4      0  2016-01-07  20001  CBA321  2015-10-07

基本上，我的数据是月度面板数据，并且新数据具有来自A-> B的特定映射有效的日期范围。因此，映射数据的第1行表示从2016-01-31到2015-211-31，ID 10001映射到ABC123。

我以前在SAS / SQL中用这样的语句完成了这个：

SELECT a.*, b.newid FROM df as a, df_ranges as b 
WHERE a.id = b.id AND b.start_date <= a.date < b.end_date

关于数据的一些注释：

它应该是id到newid的1：1映射。
日期范围不重叠

这里的解决方案可能是一个好的开始：Merging dataframes based on date range

正是我正在寻找的东西，只是它只在日期上合并，而不是在id上合并。我玩groupby（）和这个解决方案，但没有找到让它工作的方法。我的另一个想法是取消堆叠（）映射数据（df_ranges）以匹配df的维度/时间频率，但这似乎只是重新陈述现有问题。

Answer 1

也许我被低估了，因为这太容易了，但我无法在任何地方找到答案所以我只是在这里发布：你应该使用merge_asof（），它提供了日期的模糊匹配。首先，需要对数据进行排序：

df_ranges.sort_values(by=['start_date','id'],inplace=True)
df.sort_values(by=['date','id'],inplace=True)

然后，进行合并：

pd.merge_asof(df,df_ranges, by='id', left_on='date', right_on='start_date')

输出：

In [30]: pd.merge_asof(df,df_ranges, by='id', left_on='date', right_on='start_date').head()
Out[30]:
        date     id         0 start_date    end_date  new_id
0 2016-01-31  10001  0.120892 2015-11-30  2016-01-31  ABC123
1 2016-01-31  20001 -0.576096 2016-01-08  2016-06-01  ZYX987
2 2016-01-31  30001  0.543597 2015-07-31  2016-02-22  CCC333
3 2016-02-29  10001  0.316212 2016-02-01  2016-05-15  XYZ789
4 2016-02-29  20001 -0.625878 2016-01-08  2016-06-01  ZYX987

根据id和日期范围合并pandas数据帧

1 个答案: