使用AWS Glue将firehose json拼花地板

时间:2019-11-24 21:50:14

标签: amazon-emr aws-glue amazon-kinesis-firehose aws-glue-data-catalog

我正在尝试在写入s3目标之前将firehose json转换为实木复合地板。儿子中的一个字段(update_timestamp)是格式为字符串的时间戳记(例如“ 2019-10-24 00:00:00.000000”)

AWS文档指出要使用AWS Glue数据目录表来定义架构。我们有一个EMR作业,它将从S3存储桶中读取此属性update_timestamp并存储在数据库中。我们希望将update_timestamp作为时间戳存储在数据库表中。

  1. 定义了Glue数据目录表后,属性表示的数据类型是什么?从json读取属性时它代表数据类型还是代表目标数据类型(在这种情况下为时间戳)?

  2. 由于镶木地板为二进制格式,因此读取时属性的数据类型对EMR作业有影响吗?我认为EMR作业可以将属性直接作为时间戳存储在数据库中吗?

0 个答案:

没有答案