我们有一个庞大的AWS RDS(MySQL)实例,我们需要在特定时间每天将数据从它复制到另一个Ec2实例,以便进行报告和分析。
目前我们正在使用mysqldump创建转储文件,然后复制整个架构,这需要花费大量时间。有没有更快的方法,如果它只复制新记录会更好。
我们如何在不复制整个模式的情况下复制数据?
答案 0 :(得分:1)
您应该查看Database Migration Service。不要被名字搞糊涂。它可以连续或一次复制。来自FAQ:
Q值。除了一次性数据迁移之外,我还可以使用AWS数据库 用于连续数据复制的迁移服务?
是的,您可以将AWS数据库迁移服务用于两个一次性数据 迁移到基于RDS和EC2的数据库以及连续数据库 数据复制。 AWS数据库迁移服务将捕获更改 在源数据库上并以事务一致的方式应用它们 通往目标的方式。可以从您的数据进行连续复制 以AWS为中心到数据库,反之亦然,复制到 数据中心中的数据库来自AWS中的数据库。持续不断 复制也可以在同构或异构之间完成 数据库。对于正在进行的复制,最好使用 多可用区用于高可用性。
答案 1 :(得分:0)
您可以使用AWS Glue定期将数据库迁移作为ETL作业。
您还可以考虑使用AWS数据迁移服务(DMS)。
然而,对于在AWS中运行的ETL作业而言,AWS Glue优于DMS,您熟悉Python或Scala以编写转换逻辑。
问:我应该何时使用AWS Glue与AWS数据库迁移服务? AWS数据库迁移服务(DMS)可帮助您轻松安全地将数据库迁移到AWS。对于需要从内部部署到AWS的数据库迁移或AWS上的内部部署源和源之间的数据库复制的用例,我们建议您使用AWS DMS。数据在AWS中后,您可以使用AWS Glue将数据源中的数据移动并转换为另一个数据库或数据仓库,例如Amazon Redshift。