我必须将所有mysql数据迁移到mongodb。
由于Mysql表架构和MongoDB文档架构不同,我制定了这样的计划。
程序A
每5分钟从MySQL获取数据。 (10000行)
修改导入的Mysql数据以适合MongoDB结构
将修改后的数据推送到AWS SQS
程序B
每5分钟从SQS获取数据
批量插入MongoDB
问题是,MySQL数据不稳定。 (可更改)
所以我又尝试了一个这样的任务。
程序C
程序D
每5分钟从SQS获取数据
MongoDB的更新日期(如果mongodb上不存在更新的数据,则不执行任何操作。因为尚未传输更新的数据)
程序A / B是捆绑软件,而C / D也是捆绑软件。
我知道,如果mongodb版本> 3.0,则以文档级锁定。
所以也许没有问题。
MySQL数据行计数为1,600,000。
我的计划有问题吗?
或者,任何反馈,非常感谢。
谢谢。