在Kinesis Firehose-> Parquet

时间:2019-08-06 09:06:28

标签: timestamp parquet aws-glue amazon-kinesis-firehose

我正在使用DirectPut将记录输入Kinesis Firehose DeliveryStream。流使用Glue表将记录处理为Athena的实木复合地板。

文档指出,对于处理失败的记录,它们使用arrivalTimestamp属性进行记录(我可以很高兴地在error键中看到它)。

我想在我的成功记录中添加arrivalTimestamp,这样我就可以拥有到达Timestamp的Glue列。

如果没有Lambda / Analytics / API网关映射等(例如,在Kinesis中),是否有可能?

我当前的“解决方案”是在DirectPUT数据中提交时间戳,但是这依赖于生产者来获得准确的时钟,并且可以操作。

0 个答案:

没有答案