Question

我正在使用python和pytables以及相当大的数据集（+ 200GB）制作一个期货市场的数据重播系统。

据我所知，pytables只能为我的时间戳存储numpy datetime64对象。这是一个问题，因为我需要将它们转换为datetime对象或pandas时间戳，以便交易模块可以在传入数据上调用时间或工作日或月份等方法。试图在运行时转换数十亿行基本上使系统无法使用。

pd.to_datetime(my_datetime64)
datetime.datetime(my_datetime64)

太慢了。

这是我如何将我的数千个原始csv导入pytables商店。请注意，索引采用pandas datetime格式，这样我就可以获得有关时间戳的信息，例如时间，月份，年份等。

from pandas import HDFStore
store = HDFStore(store_dir)

for file in files:
            df = pd.read_csv("/TickData/"+file)
            df.index = pd.to_datetime(df['date'].apply(str) + " " + df['time'], format = '%Y%m%d %H:%M:%S.%f')
            df.drop(['date', 'time'], axis=1, inplace=True)
            store.append('ticks', df, complevel=9, complib='blosc')

这是我用PyTables table.read方法读回一个块时的数据 - 你可以看到pandas时间戳都被转换为datetime64

array([(1220441851000000000, [b'ESU09'], [1281.0], [1]),
       (1226937439000000000, [b'ESU09'], [855.75], [2]),
       (1230045292000000000, [b'ESU09'], [860.0], [1]), ...,
       (1244721917000000000, [b'ESU09'], [943.75], [1]),
       (1244721918000000000, [b'ESU09'], [943.75], [2]),
       (1244721920000000000, [b'ESU09'], [944.0], [15])], 
      dtype=[('index', '<i8'), ('values_block_0', 'S5', (1,)), ('values_block_1', '<f8', (1,)), ('values_block_2', '<i8', (1,))])

这是我如何以块的形式从表中读出它们

    chunksize = 100000
    nrows = 1000000000
    n_chunks =  nrows//chunksize + 1
    h5f = tables.open_file(store_directory, 'r')
    t = h5f.get_node('/', 'ticks')

    for i in range(n_chunks):
         chunk = t.table.read(i*chunksize, (i+1)*chunksize)
             for c in chunk:
                  #this is where we would convert c[0] which is the timestamp , 
pd.to_datetime(c[0]) or datetime.datetime(c[0]), both are too slow

我的问题最终是：

1：有没有更快的方法将datetime64转换回日期时间或pandas时间戳，或许与cython有关？

或者2：有没有办法将pandas时间戳存储在HDF中，这样就不需要在读取时转换它们了？

由于

Answer 1

试试这个：

import numpy
from datetime import datetime

npdt = numpy.datetime64(datetime.utcnow())
dt = npdt.astype(datetime)

我发现它快了一个数量级：

from datetime import datetime
import numpy
import pandas
import timeit

foo = numpy.datetime64(datetime.utcnow())
print(foo.astype(datetime))
print(pandas.to_datetime(foo))

print(timeit.timeit('foo.astype(datetime)',    setup='import numpy; import pandas; from datetime import datetime; foo = numpy.datetime64(datetime.utcnow())'))
print(timeit.timeit('pandas.to_datetime(foo)', setup='import numpy; import pandas; from datetime import datetime; foo = numpy.datetime64(datetime.utcnow())'))

输出：

2016-06-10 20:51:11.745616
2016-06-10 20:51:11.745616
1.916042190976441
37.38387820869684

加快时间戳转换为日期时间Python

1 个答案: