我将我的数据以file_name.snappy.parquet格式存储在S3中。当我在S3中预览此文件时,我的时间戳字段为:
{"ModifiedOn": 4.535976891407963e+25}
此字段是使用pyspark TimestampType创建的。当我在Athena表中看到此字段时,正如预期的那样,它显示为2020-04-18 21:55:41.000
。但是当我尝试手动转换它时,会得到Monday, May 25, 3407 7:48:34.079 AM
。 (使用https://www.epochconverter.com/)
假设此时间戳以纳秒(十亿分之一秒)为单位。
如何手动获取给定字段的正确日期?