将毫秒数据读入熊猫

时间:2014-06-04 11:19:53

标签: python pandas

我有一个包含这样的数据的文件,并希望加载它,并使用timestamp列(表示毫秒)作为DateTimeIndex。

                  x           y   
timestamp                                                                   
0                 50          90    
125               37          87    
234               37          87     
344               37          87     
453               37          87     
562               26          78    
656               26          78    
766               26          78   
875               26          78     
984               30          77    

当我将timestamp指定为索引时,它变为FloatIndex

cur_df = pd.read_csv(cur_file, sep=',', comment='#', index_col = 'timestamp', parse_dates=True)

编辑: 我添加了一个函数来解析日期,添加一个虚拟日期:

def convert_time(a):
    sec = int(math.floor(a/1000))
    millisec = int(((a/1000.0)-int(math.floor(a/1000.0)))*1000)
    time = '2012-01-01 00:00:%d.%d' % (sec, millisec)
    return parser.parse(time)


cur_df = pd.read_csv(cur_file, sep=',', comment='#', index_col = 'timestamp', parse_dates=True, date_parser=convert_time)

现在它运作正常!

我会感激任何建议,我怎样才能更好地完成这项工作;)

1 个答案:

答案 0 :(得分:4)

类似的东西,但我认为更简单(python datetime.datetime使用微秒,因此因子1000):

In [12]: import datetime

In [13]: def convert_time(a):
    ...:     ms = int(a)
    ...:     return datetime.datetime(2012, 1, 1, 0, 0, 0, ms*1000)

In [14]: pd.read_csv(cur_file, sep=',', index_col = 'timestamp', parse_dates=True, date_parser=convert_time)
Out[14]: 
                             x   y
timestamp                         
2012-01-01 00:00:00         50  90
2012-01-01 00:00:00.125000  37  87
2012-01-01 00:00:00.234000  37  87
2012-01-01 00:00:00.344000  37  87
2012-01-01 00:00:00.453000  37  87
2012-01-01 00:00:00.562000  26  78
2012-01-01 00:00:00.656000  26  78
2012-01-01 00:00:00.766000  26  78
2012-01-01 00:00:00.875000  26  78
2012-01-01 00:00:00.984000  30  77