在将镶木地板文件加载到redshift时如何格式化时间戳记字段?

时间:2019-02-13 13:57:36

标签: amazon-web-services amazon-s3 amazon-redshift parquet

我有一堆镶木地板文件,其中时间戳字段的格式不同。我想在将数据加载到redshift表时统一格式。但是以下语法无法正常工作,并且会引发错误2019-02-13 00:00:00

有什么可以解决的吗?我只能想到一种在创建镶木地板文件时统一所有时间戳格式的解决方案,因为我必须加载2-3年的镶木地板文件,因此此解决方案非常耗时。任何人都可以让我知道您是否还有其他解决方案或以下语法中缺少的任何内容

语法:

var result = moment('2019-02-13 00:00:00').isSame(moment());

1 个答案:

答案 0 :(得分:0)

如果可以使用Pyarrow库,请加载镶木地板表,然后使用use_deprecated_int96_timestamps参数write them back out in Parquet format。 Redshift将正确识别这些内容。加载Parquet时,我没有运气能正确识别任何其他时间戳格式。