格式化日期时间变量将缺少的时间值指定为00:00:00。使用Python

时间:2015-05-12 13:05:24

标签: python datetime pandas

我目前正在使用python尝试将datetime列拆分为2,一个用于Date,一个用于时间,并且列的格式正确。

ORIGINAL DATASET

INCIDENT_DATE
12/31/2006 11:20:00 PM
12/31/2006 11:30:00 PM
01/01/2007 00:25
01/01/2007 00:10
12/31/2006 11:30:00 AM
01/01/2007 00:05
01/01/2007 00:01
12/31/2006 4:45:00 PM
12/31/2006 11:50:00 PM
**01/01/2007**

*我使用了2个代码,一个用于格式化列,另一个用于分割列。但是,格式化列后,缺少的时间值为00:00:00值,此处表示午夜12点的时间。请参阅下面的

格式化后

2006-12-31 23:20:00
2006-12-31 23:30:00
2007-01-01 00:25:00
2007-01-01 00:10:00
2006-12-31 11:30:00
2007-01-01 00:05:00
2007-01-01 00:01:00
2006-12-31 16:45:00
2006-12-31 23:50:00
**2007-01-01 00:00:00**

使用的代码:

## Format datetime column
crimeall['INCIDENT_DATE'] = pd.DatetimeIndex(crimeall['INCIDENT_DATE'])

##Split DateTime column
crimeall['TIME'],crimeall['DATE']= crimeall['INCIDENT_DATE'].apply(lambda x:x.time()), crimeall['INCIDENT_DATE'].apply(lambda x:x.date())

如果没有在00:00:00设置缺失的时间值,是否可以这样做?在格式化日期时间时是否可以将这些缺失值记录为Nan?

有关如何实现格式化日期时间的任何想法,将缺少的时间值显示为NaN。

我想看起来像什么

2006-12-31 23:20:00
2006-12-31 23:30:00
2007-01-01 00:25:00
2007-01-01 00:10:00
2006-12-31 11:30:00
2007-01-01 00:05:00
2007-01-01 00:01:00
2006-12-31 16:45:00
2006-12-31 23:50:00
**2007-01-01 NaN**

希望有办法完成这项工作。

2 个答案:

答案 0 :(得分:1)

ambiguous =‘NaT’添加到pd.DatetimeIndex。如果这不起作用,您可以使用

之类的东西来修补值
crimeall['TIME'] = [np.NaN if t.isoformat()=='00:00:00' else t for t in crimeall['TIME']]

答案 1 :(得分:0)

我不相信有任何方法可以使类似日期时间的列部分有效并且部分为NaN。请注意,日期时间本质上是一个整数之上的格式,整数不能是一半有效,一半不能丢失(下面再说一点)。

无论如何,我只会制作一个新列,而不是包含NaN。从以下开始,其中'raw_dt'是您的原始数据,'formatted_dt'是正确的日期时间:

                   raw_dt        formatted_dt
0  12/31/2006 11:20:00 PM 2006-12-31 23:20:00
1  12/31/2006 11:30:00 PM 2006-12-31 23:30:00
...
7   12/31/2006 4:45:00 PM 2006-12-31 16:45:00
8  12/31/2006 11:50:00 PM 2006-12-31 23:50:00
9              01/01/2007 2007-01-01 00:00:00

我会创建一个这样的面具:

df['valid_time'] = df.raw_dt.str.contains(':')

这应该在这里正常工作,如果你需要更复杂的东西,你可以使用正则表达式。然后创建一个新的时间列。

df['time'] = df.ix[df['valid_time'],'formatted_dt'].dt.time

                   raw_dt        formatted_dt valid_time      time
0  12/31/2006 11:20:00 PM 2006-12-31 23:20:00       True  23:20:00
1  12/31/2006 11:30:00 PM 2006-12-31 23:30:00       True  23:30:00
...
7   12/31/2006 4:45:00 PM 2006-12-31 16:45:00       True  16:45:00
8  12/31/2006 11:50:00 PM 2006-12-31 23:50:00       True  23:50:00
9              01/01/2007 2007-01-01 00:00:00      False       NaN

从那里你可以根据自己的喜好进行格式化,例如:

df.formatted_dt.dt.date.map(str) + df.time.map(str).str.rjust(9)

0    2006-12-31 23:20:00
1    2006-12-31 23:30:00
...
7    2006-12-31 16:45:00
8    2006-12-31 23:50:00
9    2007-01-01      nan

要简要介绍日期时间,请查看here并注意您可以看一下日期时间到底是什么时候(自1970年1月1日起纳秒):

df.formatted_dt.astype(np.int64)

0    1167607200000000000
1    1167607800000000000
...
7    1167583500000000000
8    1167609000000000000
9    1167609600000000000