如何在C ++中的镶木地板文件中保存时间戳并将其加载到Python Pandas中?

时间:2018-12-07 01:51:27

标签: c++ pandas parquet pyarrow

我正在C ++中使用Apache Arrow将时间序列的集合另存为实木复合地板文件,并使用python将实木复合地板文件加载为Pandas Dataframe。该过程适用于Date64Type以外的所有类型。我在C ++中保存了纪元时间,并且在将其加载到大熊猫中时,时间信息丢失了。

例如,对于增强型posix时间:2018-04-01T20:11:17.112Z,纪元时间(在int64_t中是1522613477112000,但是当我以(Date64Type的形式保存到镶木地板文件时,装入熊猫,结果为2018-04-01,时间信息丢失。将时间戳记保存在实木复合地板文件中的正确方法是什么?

1 个答案:

答案 0 :(得分:1)

您需要改用arrow::TimestampTypeDate32TypeDate64Type仅支持日期解析;它们的内部表示形式有所不同(从UNIX时代起{int32_t天,而从UNIX时代起int64_t毫秒)