Question

我希望快速将约10-20M ISO日期时间字符串以微秒精度投射到datetime64，以用作pandas中的DataFrame索引。

我正在使用pandas 0.9，并尝试过在git上建议的解决方案，但我发现它需要20到30分钟，或者从未完成。

我想我发现了问题。比较这两者的速度：

rng = date_range('1/1/2000', periods=2000000, freq='ms')
strings = [x.strftime('%Y-%m-%d %H:%M:%S.%f') for x in rng]
timeit to_datetime(strings)

在我的笔记本电脑上，约300毫秒。

rng = date_range('1/1/2000', periods=2000000, freq='ms')
strings = [x.strftime('%Y%m%dT%H%M%S.%f') for x in rng]
timeit to_datetime(strings)

在我的笔记本电脑上，永远和一天。

我可能只是改变生成时间戳的c ++代码，暂时将它们放在更详细的ISO格式中，因为循环并修复数千万张邮票的格式可能相当慢......

Answer 1

快速解析器代码仅处理带有破折号和冒号的标准ISO-8601 - 正如您所看到的，当字符串是正确的格式时，它会超快。如果你可以说服代码在GitHub上，并且肯定可以改进以处理更多的情况（最好不要太慢地减慢标准格式）。

作为部分令人满意的解决方法，您可以使用datetime.strptime将字符串转换为datetime.datetime，然后将结果传递给to_datetime：

In [4]: paste
rng = date_range('1/1/2000', periods=2000000, freq='ms')
strings = [x.strftime('%Y%m%dT%H%M%S.%f') for x in rng]

## -- End pasted text --

In [5]: iso_strings = [x.strftime('%Y-%m-%d %H:%M:%S.%f') for x in rng]

In [6]: %timeit result = to_datetime(iso_strings)
1 loops, best of 3: 479 ms per loop

In [7]: f = lambda x: datetime.strptime(x, '%Y%m%dT%H%M%S.%f')

In [8]: f(strings[0])
Out[8]: datetime.datetime(2000, 1, 1, 0, 0)

In [9]: %time result = to_datetime(map(f, strings))
CPU times: user 48.47 s, sys: 0.01 s, total: 48.48 s
Wall time: 48.54 s

它是100x不同但比1000 +％慢得多。我敢打赌to_datetime可以改进使用更快的C语言版本。我想，练习留给读者

某天的待办事项：http://github.com/pydata/pandas/issues/2213

Pandas将ISO字符串转换为datetime64

1 个答案: