Question

我希望从datetime列中减去一些月份。每行要减去的月份数不同。例如，

df = pd.DataFrame({
    'timestamp': pd.date_range('2017-10-01', '2018-10-01', freq='m'),
    'delta_in_months': [1, 4, 2, 5, 1, 3, 1, 5, 2, 4, 1, 3]
})

结果应如下所示（不舍入一天的取整，可能是01或28/29/30/31，更容易键入01），

    timestamp   delta_in_months  new_timestamp
0   2017-10-31  1                2017-09-01
1   2017-11-30  4                2017-07-01
2   2017-12-31  2                2017-10-01
3   2018-01-31  5                2017-08-01
4   2018-02-28  1                2018-01-01
5   2018-03-31  3                2017-12-01
6   2018-04-30  1                2018-03-01
7   2018-05-31  5                2017-12-01
8   2018-06-30  2                2018-04-01
9   2018-07-31  4                2018-03-01
10  2018-08-31  1                2018-07-01
11  2018-09-30  3                2018-06-01

请记住，这将用于更大的数据帧。

我尝试过

months_delta = df.delta_in_months.apply(pd.tseries.offsets.MonthOffset)
df['new_timestamp'] = df.timestamp - months_delta

但这会产生非常意外的结果，每个行条目都是一个DatetimeIndex。

Answer 1

您可以尝试

df['new_timestamp'] = df.timestamp - pd.to_timedelta(df.delta_in_months,unit='M')
df['new_timestamp'] = df['new_timestamp'].dt.date

重要的是要记住 1'M' = 30'D'。

Answer 2

如果您登陆这里是因为您正在寻找一种矢量化、快速且正确的解决方案来解决将可变月份数添加到 Series 的 Timestamps 的问题，然后继续阅读。

在某些问题中，我们确实希望添加实际月份（pd.offsets.DateOffset(months=x) 的工作方式），即：2021-01-31 + 1 month --> 2021-02-28，而不仅仅是“30 天”。但是尝试直接使用 pd.offsets.DateOffset 会引发警告 (PerformanceWarning: Adding/subtracting object-dtype array to DatetimeArray not vectorized )。例如：

dates + df['months'].apply(lambda m: pd.offsets.DateOffset(months=m))
dates + months * pd.offsets.DateOffset(months=1)，这在某些情况下也是错误的（例如，2015-07-29 + 59 months 应该是 2020-06-29，而不是 2020-06-28）。

相反，我们可以自己做一些算术并得到一个矢量化的解决方案：

# note: not timezone-aware
def vadd_months(dates, months):
    ddt = dates.dt
    m = ddt.month - 1 + months
    mb = pd.to_datetime(pd.DataFrame({
        'year': ddt.year + m // 12,
        'month': (m % 12) + 1,
        'day': 1})) + (dates - dates.dt.normalize())
    me = mb + pd.offsets.MonthEnd()
    r = mb + (ddt.day - 1) * pd.Timedelta(days=1)
    r = np.minimum(r, me)
    return r

OP 示例的用法

df['new_timestamp'] = vadd_months(df['timestamp'], df['delta_in_months'])

速度

n = int(100_000)
df = pd.DataFrame({
    'timestamp': pd.Series(pd.to_datetime(np.random.randint(
            pd.Timestamp('2000').value,
            pd.Timestamp('2020').value,
            n
        ))).dt.floor('1s'),
    'months': np.random.randint(0, 120, n),
})

%%time
newts = vadd_months(df['timestamp'], df['months'])
# CPU times: user 52.3 ms, sys: 4.01 ms, total: 56.3 ms

验证

检查 pd.offsets.DateOffset 的（非矢量化）直接使用：

import warnings

%%time
with warnings.catch_warnings():
    warnings.simplefilter(action='ignore', category=pd.errors.PerformanceWarning)
    check = df['timestamp'] + df['months'].apply(lambda m: pd.offsets.DateOffset(months=m))
# CPU times: user 2.41 s, sys: 43.9 ms, total: 2.45 s

>>> newts.equals(check)
True

请注意，vadd_months 比非矢量化版本快 40 倍，并且没有要捕获的警告。

如何在熊猫中添加/减去一系列不同的Month时间增量？

2 个答案: