Question

我有一个熊猫数据框，其中有一列datetime对象，格式如下：

df['TIME_M']=pd.to_datetime(df['TIME_M'],format='%Y%m%d %H:%M:%S.%f')

但是，同时，我还希望使用以下格式的datetime列（不带％f）：

%Y%m%d %H:%M:%S

我可以快速地将日期时间对象%s转换为没有%s的对象吗？

当前我正在使用以下代码：

df['TIME_S']=df.TIME_M.map(lambda t:t.strftime('%Y%m%d %H:%M:%S'))

但是，对于大熊猫来说，转换为字符串似乎是一个相当慢的操作。我想知道是否有一种快速的方法来进行转换，同时将转换的输出保留为datetime对象？

P.S。假设我已经有df['TIME_M']的格式%Y%m%d %H:%M:%S.%f

Answer 1

首先，如果需要日期时间格式与bif不同，例如需要-YYYY-MM-DD HH:MM:SS。

如果需要不带%f的日期时间，请添加floor：

df['TIME_M'] = pd.to_datetime(df['TIME_M'], format='%Y%m%d %H:%M:%S.%f').dt.floor('s')
#if datetimes column
#df['TIME_M'] = df['TIME_M'].dt.floor('s')

或转换为numpy值，然后转换为秒：

df['TIME_M'] = pd.to_datetime(df['TIME_M'],format='%Y%m%d %H:%M:%S.%f').values.astype('datetime64[s]')
#if datetimes column
#df['TIME_M'] = df['TIME_M'].values.astype('datetime64[s]')

或拆分列表理解：

df['TIME_M'] = pd.to_datetime([x.split('.')[0] for x in df['TIME_M']], format='%Y%m%d %H:%M:%S')

示例数据中的时间

N = 100000
df = pd.DataFrame({'TIME_M':['20190913 04:04:20'] * N})
df['TIME_M'] +=  ['.{}'.format(x) for x in range(1, len(df)+1)] 


df['TIME_M1'] = pd.to_datetime(df['TIME_M'],format='%Y%m%d %H:%M:%S.%f').dt.floor('s')
df['TIME_M2'] = pd.to_datetime([x.split('.')[0] for x in df['TIME_M']], format='%Y%m%d %H:%M:%S')
df['TIME_M3'] = pd.to_datetime(df['TIME_M'],format='%Y%m%d %H:%M:%S.%f').values.astype('datetime64[s]')

#print (df)

In [180]: %timeit df['TIME_M3'] = pd.to_datetime(df['TIME_M'],format='%Y%m%d %H:%M:%S.%f').values.astype('datetime64[s]')
28.2 ms ± 358 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [181]: %timeit df['TIME_M1'] = pd.to_datetime(df['TIME_M'],format='%Y%m%d %H:%M:%S.%f').dt.floor('s')
28.7 ms ± 208 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [182]: %timeit df['TIME_M2'] = pd.to_datetime([x.split('.')[0] for x in df['TIME_M']], format='%Y%m%d %H:%M:%S')
69 ms ± 1.81 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

感谢另外2种解决方案@Anton vBR：

In [187]: %timeit df['TIME_M4'] = pd.to_datetime(df['TIME_M'].str[:17], format='%Y%m%d %H:%M:%S')
58 ms ± 709 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [188]: %timeit df['TIME_M5'] = pd.to_datetime([x[:17] for x in df['TIME_M']], format='%Y%m%d %H:%M:%S')
45.6 ms ± 536 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

熊猫转换数据时间格式

1 个答案: