AWS:设置从PostgreSQL到Redshift的kinesis流

时间:2017-11-13 15:45:11

标签: amazon-web-services amazon-s3 amazon-kinesis amazon-kinesis-firehose

在参考我之前的问题时,我让我的老板继续,让我从现有的postgres到我们的分析团队的新redshift数据库中设置DMS。

我所遇到的下一个问题,在花了3天时间进行搜索后,没有提供任何帮助。我的老板想要使用Kinesis将PG数据库中的实时数据提取到RS数据库,这样我们的分析团队就可以实时从中提取数据。我正试图让这个配置好,但我只是头疼。

我有一个Stream设置,Firehose设置为从我创建的名为“postgres-stream-bucket”的S3存储桶中获取,但我不确定如何从PG转储数据,然后确保RS能够实时获取并使用它。

但是,如果有更好的选择,我会喜欢来听取它们,但我们必须拥有实时(或尽可能接近)的翻译数据。

1 个答案:

答案 0 :(得分:0)

Amazon Kinesis Firehose是您的系统中有流数据的理想选择。它将收集记录,批处理并加载到Redshift中。但是,是您所描述的理想解决方案,其中您的源是数据库而不是随机数据流。

由于您已经安装了数据库迁移服务,因此可以继续将其用于PostgreSQL和Redshift之间的连续数据复制。这将是最简单,最有效的解决方案。