使用中间s3将文件从AWS kinesis复制到redshift时,如果存在连接错误,则会导致目标表上出现重复的行

时间:2018-08-20 23:19:46

标签: amazon-web-services amazon-s3 amazon-redshift amazon-kinesis-firehose

我有一个Kinesis Firehose流,该流设置为使用中间S3目标写入红移。

Firehose-> S3-> Redshift

我注意到,有时我会在redshift中得到重复的记录。经过一些故障排除后,我注意到Firehose日志上出现Redshift.ConnectionFailed错误。

有没有一种方法可以配置Redshift或Firehose使其原子化? 如果没有,还有其他建议吗?

0 个答案:

没有答案