Question

我的数据可以在给定日期有多个事件，也可以在某个日期没有事件。我参加这些活动，按日期计算并绘制它们。但是，当我绘制它们时，我的两个系列并不总是匹配。

idx = pd.date_range(df['simpleDate'].min(), df['simpleDate'].max())
s = df.groupby(['simpleDate']).size()

在上面的代码中， idx 成为30个日期的范围。 09-01-2013至09-30-2013 但是 S 可能只有25天或26天，因为在给定日期没有发生任何事件。然后，当我尝试绘制时，我得到一个AssertionError，因为大小不匹配：

fig, ax = plt.subplots()    
ax.bar(idx.to_pydatetime(), s, color='green')

解决这个问题的正确方法是什么？我是否要删除 IDX 中没有值的日期或（我宁愿这样做）将系列添加到缺少日期的计数为0.我宁愿拥有一个完整的图表30天，0值。如果这种方法是正确的，那么有关如何开始的任何建议？我是否需要某种动态reindex功能？

以下是 S （df.groupby(['simpleDate']).size()）的片段，请注意04和05没有条目。

09-02-2013     2
09-03-2013    10
09-06-2013     5
09-07-2013     1

Answer 1

您可以使用Series.reindex：

import pandas as pd

idx = pd.date_range('09-01-2013', '09-30-2013')

s = pd.Series({'09-02-2013': 2,
               '09-03-2013': 10,
               '09-06-2013': 5,
               '09-07-2013': 1})
s.index = pd.DatetimeIndex(s.index)

s = s.reindex(idx, fill_value=0)
print(s)

产量

2013-09-01     0
2013-09-02     2
2013-09-03    10
2013-09-04     0
2013-09-05     0
2013-09-06     5
2013-09-07     1
2013-09-08     0
...

Answer 2

一个问题是，如果存在重复值，reindex将失败。假设我们正在使用带时间戳的数据，我们希望按日期编制索引：

df = pd.DataFrame({
    'timestamps': pd.to_datetime(
        ['2016-11-15 1:00','2016-11-16 2:00','2016-11-16 3:00','2016-11-18 4:00']),
    'values':['a','b','c','d']})
df.index = pd.DatetimeIndex(df['timestamps']).floor('D')
df

产量

            timestamps             values
2016-11-15  "2016-11-15 01:00:00"  a
2016-11-16  "2016-11-16 02:00:00"  b
2016-11-16  "2016-11-16 03:00:00"  c
2016-11-18  "2016-11-18 04:00:00"  d

由于日期重复2016-11-16，尝试重新编制索引：

all_days = pd.date_range(df.index.min(), df.index.max(), freq='D')
df.reindex(all_days)

失败了：

...
ValueError: cannot reindex from a duplicate axis

（这意味着索引有重复，而不是它本身就是重复）

相反，我们可以使用.loc查找范围内所有日期的条目：

df.loc[all_days]

产量

            timestamps             values
2016-11-15  "2016-11-15 01:00:00"  a
2016-11-16  "2016-11-16 02:00:00"  b
2016-11-16  "2016-11-16 03:00:00"  c
2016-11-17  NaN                    NaN
2016-11-18  "2016-11-18 04:00:00"  d

如果需要，可以在列系列上使用

fillna来填充空白。

Answer 3

更快的解决方法是使用.asfreq()。这并不需要在.reindex()内调用新索引。

# "broken" (staggered) dates
dates = pd.Index([pd.Timestamp('2012-05-01'), 
                  pd.Timestamp('2012-05-04'), 
                  pd.Timestamp('2012-05-06')])
s = pd.Series([1, 2, 3], dates)

print(s.asfreq('D'))
2012-05-01    1.0
2012-05-02    NaN
2012-05-03    NaN
2012-05-04    2.0
2012-05-05    NaN
2012-05-06    3.0
Freq: D, dtype: float64

Answer 4

另一种方法是resample，除了缺少日期外，还可以处理重复日期。例如：

df.resample('D').mean()

resample是groupby之类的延迟操作，因此您需要使用其他操作进行操作。在这种情况下，mean效果很好，但您也可以使用许多其他pandas方法，例如max，sum等。

以下是原始数据，但有一个额外的“2013-09-03”条目：

             val
date           
2013-09-02     2
2013-09-03    10
2013-09-03    20    <- duplicate date added to OP's data
2013-09-06     5
2013-09-07     1

以下是结果：

             val
date            
2013-09-02   2.0
2013-09-03  15.0    <- mean of original values for 2013-09-03
2013-09-04   NaN    <- NaN b/c date not present in orig
2013-09-05   NaN    <- NaN b/c date not present in orig
2013-09-06   5.0
2013-09-07   1.0

我将缺少的日期保留为NaN以明确其工作原理，但您可以添加fillna(0)以根据OP的请求用零替换NaN，或者使用类似interpolate()的内容填充基于相邻行的非零值。

Answer 5

这是一种很好的方法，可以将缺少的日期填入数据框，您可以选择fill_value，days_back填写，以及排序顺序（date_order）对数据帧进行排序：

def fill_in_missing_dates(df, date_col_name = 'date',date_order = 'asc', fill_value = 0, days_back = 30):

    df.set_index(date_col_name,drop=True,inplace=True)
    df.index = pd.DatetimeIndex(df.index)
    d = datetime.now().date()
    d2 = d - timedelta(days = days_back)
    idx = pd.date_range(d2, d, freq = "D")
    df = df.reindex(idx,fill_value=fill_value)
    df[date_col_name] = pd.DatetimeIndex(df.index)

    return df

为pandas数据帧添加缺少日期

5 个答案: