Question

我有一些稀疏的高频数据（间隔不均匀）和一些低频数据（每日）如何加入这些数据并将相应的低频数据列附加到较高频率数据（如果该数据落在当天）？

一种方法是创建自定义应用函数并检查每个数据的YMD并查找相应的低频数据，但这似乎效率很低。

以下是演示此问题的示例DataFrame：

df1 = DataFrame(dict(date1 = date_range(start='20100101', periods=48, freq='H'),value1=range(48)))
df2 = DataFrame(dict(date2 = date_range(start='20100101', periods=2, freq='D'),value2=range(2)))

我已经尝试过pd.merge和pd.join，但它们不匹配并生成NaN。

merge(df1,df2,left_on='date1',right_on='date2',how='outer')

                 date1  value1      date2  value2
0  2010-01-01 00:00:00       0 2010-01-01       0
1  2010-01-01 01:00:00       1        NaT     NaN
2  2010-01-01 02:00:00       2        NaT     NaN
3  2010-01-01 03:00:00       3        NaT     NaN
...
1  2010-01-01 01:00:00       1 2010-01-02       1
24 2010-01-02 00:00:00      24        NaT     NaN
25 2010-01-02 01:00:00      25        NaT     NaN
...
30 2010-01-02 06:00:00      30        NaT     NaN
31 2010-01-02 07:00:00      31        NaT     NaN

我希望输出的值2对于1号的所有内容都应为0，对于2号的所有内容应为1：

                 date1  value1      date2  value2
0  2010-01-01 00:00:00       0 2010-01-01     0
1  2010-01-01 01:00:00       1 2010-01-01     0
2  2010-01-01 02:00:00       2 2010-01-01     0
3  2010-01-01 03:00:00       3 2010-01-01     0
...
29 2010-01-02 05:00:00      29 2010-01-02     1
30 2010-01-02 06:00:00      30 2010-01-02     1
31 2010-01-02 07:00:00      31 2010-01-02     1

Answer 1

注意：你可以通过合并（假设没有重叠的列）超级干净地执行此操作：

In [41]: df1['date2'] = pd.DatetimeIndex(df1['date1']).normalize()

In [42]: pd.merge(df1, df2).head()
Out[42]:
                date1  value1      date2  value2
0 2010-01-01 00:00:00       0 2010-01-01       0
1 2010-01-01 01:00:00       1 2010-01-01       0
2 2010-01-01 02:00:00       2 2010-01-01       0
3 2010-01-01 03:00:00       3 2010-01-01       0
4 2010-01-01 04:00:00       4 2010-01-01       0

原始答案，我认为可能更有效率。是用reindex做的：

为了让事情变得简单，我们将date2设置为索引：

In [11]: df2 = df2.set_index('date2')

现在重新开始重新索引（使用标准化，在0.15中你可以使用.dt.normalize()）：

In [12]: pd.DatetimeIndex(df1.date1).normalize()
Out[12]:
<class 'pandas.tseries.index.DatetimeIndex'>
[2010-01-01, ..., 2010-01-02]
Length: 48, Freq: None, Timezone: None

In [13]: df2.reindex(pd.DatetimeIndex(df1.date1).normalize()).head()
Out[13]:
            value2
2010-01-01       0
2010-01-01       0
2010-01-01       0
2010-01-01       0
2010-01-01       0

您必须使用这些值来避免pandas在索引上重新排列：

In [14]: df1['value2'] = df2.reindex(pd.DatetimeIndex(df1.date1).normalize()).values

In [15]: df1.head()
Out[15]:
                date1  value1  value2
0 2010-01-01 00:00:00       0       0
1 2010-01-01 01:00:00       1       0
2 2010-01-01 02:00:00       2       0
3 2010-01-01 03:00:00       3       0
4 2010-01-01 04:00:00       4       0

加入具有不同日期时间频率的数据帧

1 个答案: