将数据从Amazon Aurora同步到Redshift

时间:2017-06-16 21:53:28

标签: amazon-web-services amazon-redshift amazon-kinesis amazon-rds-aurora amazon-kinesis-firehose

我正在尝试在AWS Aurora和Redshift之间设置同步。实现此同步的最佳方法是什么?

同步的可能方法可以是: -

  1. 查询表以查找表中的更改(因为我只进行插入,更新无关紧要),将这些更改导出到S3存储桶中的平面文件并使用Redshift copy命令插入Redshift。 / p>

  2. 使用python publisher和Boto3将更改发布到Kinesis流中,然后在Firehose中使用此流,我可以将其直接复制到Redshift。

  3. 使用Kinesis Agent检测binlog中的更改(是否可以使用Kinesis Agent检测binlog中的更改)并将其发布到Firehose并从那里复制到Firehose。

  4. 我还没有探索过AWS Datapipeline。

2 个答案:

答案 0 :(得分:2)

正如@Mark B所指出的,AWS Database Migration Service可以在数据库之间迁移数据。这可以作为一次性练习完成,也可以连续运行,保持两个数据库同步。

文档显示Amazon Aurora can be a sourceAmazon Redshift can be a target

答案 1 :(得分:0)