JSON ISO 8601时间字符串到时间格式AWS-Glue

Question

我在示例“ 2017-06-29T00：00：00-0400”中具有具有ISO 8601时间戳格式的JSON格式的数据，并且我正在尝试使用AWS Glue进行转换以供Athena / Quicksights使用；但是，我尝试过的每种转换组合仍然将目标字段视为字符串（在搜寻目标json文件之后）。尝试对雅典娜中的表进行查询时，我还会收到一个HIVE_BAD_DATA错误解析字段

Answer 1

感谢您的输入，我可以通过使用parseDate（replace（substring（{date_in_ISO}，1,19），'T'，“”）基于字符串在Quicksight中创建一个计算字段来解决我的问题，'yyyy-MM-dd HH：mm：ss'）

Answer 2

尝试

  

df = df.withColumn（“ isodate”，to_timestamp（“ isodate”，   “ yyyy-MM-dd'T'HH：mm：ssZ”））

Answer 3

您可以尝试在表定义的serde参数部分中设置timestamp.formats = yyyy-MM-dd'T'HH：mm：ss + | -hhmm。您可以在AWS Glue中执行此操作。