从Oracle导出800万条记录到MongoDB

Question

现在我有一个拥有800万条记录的Oracle数据库，我需要将它们移到MongoDB。 我知道如何使用import命令使用JSON文件将一些数据导入MongoDB，但我想知道有更好的方法可以解决这些问题。

• 由于执行时间的限制，如何处理？
• 数据库每隔一秒就会上升，所以计划确保每条记录都被移动了。

Answer 1

  

由于执行时间的限制，如何处理？

不要使用JSON导出/导入。相反，您应该编写一个读取数据的脚本，将其转换为MongoDB的正确格式，然后将其插入。

这有几个原因：

• 您的桌子/收藏品的组织方式不一样。 （如果是，那你为什么使用MongoDB？）
• 这将允许您监视操作的进度。特别是，您可以每隔1000个条目输出到日志文件，以获得一些进展并能够从故障中恢复。
• 这将测试您的新MongoDB代码。

  

数据库每隔一秒就会上升，所以计划确保每条记录都被移动了。

这里有两种策略。

1. 跟踪更新的条目，并在新更新的记录上重新运行脚本，直到您赶上来。
2. 在运行脚本以复制数据时写入两个数据库。然后，一旦你完成了脚本及其最新的一切，你就可以切换到只使用MongoDB。

我个人建议＃2，这是最简单的方法来管理和测试，同时保持正常运行时间。它仍然会有很多工作，但这将允许转变发生。