熊猫:改变一天

时间:2015-03-05 22:08:36

标签: python pandas

我有一个datetime格式的系列,需要将每个条目的日期更改为1。我想到了很多简单的解决方案,但它们都不适用于我。目前,唯一真正有效的是

  • 将系列设为索引
  • 从索引中查询月份和年份
  • 使用年,月和1重建新的时间序列

它真的很复杂,可以吗?有一个月的开始,但不幸的是offset,这里没用。该方法似乎没有set()函数,而且当系列是列时功能更少,而不是(部分)索引本身。

唯一相关的问题是this,但此处使用的技巧在这里不适用。

3 个答案:

答案 0 :(得分:14)

您可以使用.applydatetime.replace,例如:

import pandas as pd
from datetime import datetime

ps = pd.Series([datetime(2014, 1, 7), datetime(2014, 3, 13), datetime(2014, 6, 12)])
new = ps.apply(lambda dt: dt.replace(day=1))

给出:

0   2014-01-01
1   2014-03-01
2   2014-06-01
dtype: datetime64[ns]

答案 1 :(得分:11)

另一个答案有效,但是每次使用apply时,代码的运行速度都会大大降低 。通过为系列编写快速的矢量化Datetime替换,我能够获得8.5倍的加速。

def vec_dt_replace(series, year=None, month=None, day=None):
    return pd.to_datetime(
        {'year': series.dt.year if year is None else year,
         'month': series.dt.month if month is None else month,
         'day': series.dt.day if day is None else day})

应用:

%timeit dtseries.apply(lambda dt: dt.replace(day=1))
# 4.17 s ± 38.3 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

矢量化:

%timeit vec_dt_replace(dtseries, day=1)
# 491 ms ± 6.48 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

请注意,尝试将日期更改为不存在的日期可能会遇到错误,例如尝试将2012-02-29更改为2013-02-29。使用pd.to_datetimeerrors参数忽略或强迫他们。

数据生成:生成具有一百万个随机日期的序列:

import pandas as pd
import numpy as np

# Generate random dates. Modified from: https://stackoverflow.com/a/50668285
def pp(start, end, n):
    start_u = start.value // 10 ** 9
    end_u = end.value // 10 ** 9

    return pd.Series(
        (10 ** 9 * np.random.randint(start_u, end_u, n)).view('M8[ns]'))

start = pd.to_datetime('2015-01-01')
end = pd.to_datetime('2018-01-01')
dtseries = pp(start, end, 1000000)
# Remove time component
dtseries = dtseries.dt.normalize()

答案 2 :(得分:3)

另外两个答案有效,但都不是很优雅,也不符合 pandas 库的精神。相反,请考虑这一点,在我的测试中,它也比 Kyle Barron 的矢量化答案略快。它是一种单行代码,不需要定义任何外部函数,经过矢量化处理,并留在 pandas 生态系统中:

import pandas as pd
dtseries.dt.to_period('M').dt.to_timestamp()

此方法的额外好处是支持许多其他频率到下限,例如每周 ('W') 或工作日 ('B'),使用上述矢量化方法实施起来会更棘手。

您可以找到各种其他频率 in the relevant doc page 的缩写。

这当然假设 dtseries 是一个日期时间序列,如果不是,您可以使用 pd.to_datetime(my_series) 轻松转换它。

此解决方案还允许在使用各种偏移量方面具有极大的灵活性。例如,要使用一个月的第十天:

from pandas.tseries.offsets import DateOffset
dtseries.dt.to_period('M').dt.to_timestamp() + DateOffset(days=10)

我建议您检查 doc for pandas offsets。 offsets pandas 提供了许多相当复杂的偏移量的支持,例如工作日、假期、营业时间等......正如@KyleBarron 和@JonClements 的答案所建议的那样,手动实现这些将非常麻烦。例如,考虑以下示例,获取从月初开始偏移 5 个工作日的日期:

from pandas.tseries.offsets import BusinessDay
dtseries.dt.to_period('M').dt.to_timestamp() + BusinessDay(n=5)