我正在尝试在写入s3目标之前将firehose json转换为实木复合地板。儿子中的一个字段(update_timestamp
)是格式为字符串的时间戳记(例如“ 2019-10-24 00:00:00.000000”)
AWS文档指出要使用AWS Glue数据目录表来定义架构。我们有一个EMR作业,它将从S3存储桶中读取此属性update_timestamp
并存储在数据库中。我们希望将update_timestamp
作为时间戳存储在数据库表中。
定义了Glue数据目录表后,属性表示的数据类型是什么?从json读取属性时它代表数据类型还是代表目标数据类型(在这种情况下为时间戳)?
由于镶木地板为二进制格式,因此读取时属性的数据类型对EMR作业有影响吗?我认为EMR作业可以将属性直接作为时间戳存储在数据库中吗?