亚马逊消防站更新红移记录

Question

我们通过API-Gateway＆gt;消费所有分析Feed。 Kinesis Streams＆gt; Lambda＆gt; FireHose＆gt;红移表。

AWS Lambda是我们的转型足迹接受Kinesis流记录根据上下文＆amp;更改分析事件将它放到FireHouse将其保存到Redshift DB。

在此旅程中，我们想要在某些条件下更新Redshift记录（基本上是UPSERT（插入|更新））。有没有什么可以避免redshift中的重复记录？

Answer 1

开箱即用，没有。

如果要插入的表是T1，那么您可以执行的操作是：

• 让Firehose将记录转储到另一个表T2。
• 使用cron或其他东西运行一个定期从T2升级到T1的作业。使用事务，以避免在此和Firehose到Redshift查询运行时数据变坏。