我想做什么
我正在使用 Py Arrow 解析来自 csv(最初来自 Postgres 数据库)的数据。我在解析看起来像 2017-08-19 14:22:11.802755+00
的时间戳(带时区)时遇到问题。
然后我收到如下错误:
pyarrow.lib.ArrowInvalid: In CSV column #11: CSV conversion error to timestamp[ns]: invalid value '2017-08-19 12:22:11.802755+00'
我尝试做的事情
我尝试对数据使用指定的解析器,所以这就是我读取 csv 的方式(为简洁起见):
arrow_table = arrow_csv.read_csv(
input_file=input_buffer,
convert_options=arrow_csv.ConvertOptions(
timestamp_parsers=[ISO8601, "%Y-%m-%d %H:%M:%S.%6N %z"],# I have also tried omitting this
column_types=arrow_schema,
strings_can_be_null=True,
true_values=['t'],
false_values=['f'],
)
)
不是在 column_types
中我映射我想要解析的列(我将 Postgres 类型映射到 Arrow 类型,除此之外适用于所有其他类型):
timestamp with time zone': pa.timestamp('ns', tz="+00:00")
但这些似乎都不起作用。如果需要,我很乐意提供更多信息。
答案 0 :(得分:2)
不幸的是,Arrow 的 IOS8601 解析器不支持偏移字符串。 strptime 解析器基于 2008 POSIX definition of strptime,通过不支持 %z
的供应商 musl。 strptime 的一些实现确实包括支持(例如 libc 实现)
这似乎是对任一解析器的有效功能请求。我已提交 ARROW-13348 来跟踪此事。
对于变通方法,最好的办法可能是将列解析为字符串并使用其他一些库(pandas?)来转换为时间戳。