将mysql数据传输到mongodb迁移

时间:2019-03-20 07:05:00

标签: mysql mongodb

我必须将所有mysql数据迁移到mongodb。

由于Mysql表架构和MongoDB文档架构不同,我制定了这样的计划。

程序A

  1. 每5分钟从MySQL获取数据。 (10000行)

  2. 修改导入的Mysql数据以适合MongoDB结构

  3. 将修改后的数据推送到AWS SQS

程序B

  1. 每5分钟从SQS获取数据

  2. 批量插入MongoDB

问题是,MySQL数据不稳定。 (可更改)

所以我又尝试了一个这样的任务。

程序C

  1. 如果MySQL中的数据发生了更改,则将更改后的数据ID推送到SQS

程序D

  1. 每5分钟从SQS获取数据

  2. MongoDB的更新日期(如果mongodb上不存在更新的数据,则不执行任何操作。因为尚未传输更新的数据)

程序A / B是捆绑软件,而C / D也是捆绑软件。

我知道,如果mongodb版本> 3.0,则以文档级锁定。

所以也许没有问题。

MySQL数据行计数为1,600,000。

我的计划有问题吗?

或者,任何反馈,非常感谢。

谢谢。

0 个答案:

没有答案