将数据从PostgreSQL迁移到MongoDB

Question

我必须将500万条记录从PostgreSQL迁移到MongoDb。

我尝试使用mongify，因为它在ruby上运行，而我对Ruby并不熟悉，我无法解决它所带来的错误。

所以，我尝试在node.js中自己编写代码，首先将PostgreSQL data转换为JSON，然后将该JSON插入mongoDb。 但是，这很失败，因为它吃了很多RAM，并且可以迁移不超过13000条记录。

然后我考虑在Java编写代码，因为它的垃圾收集器。它在RAM利用率方面工作正常，但速度非常慢（大约10000条记录/小时）。按照这个速度，我需要几天的时间来迁移我的数据。

那么，有没有更有效，更快捷的方法呢？ python程序会比Java程序更快吗？或者还有其他现成的工具可以用来做同样的事情吗？

我的系统配置是：   操作系统 - Windows 7（64位），   RAM - 4GB，   i3处理器

Answer 1

好像我迟到了。但是，有一天，这可能对某人有用!!!!

以下基于python的迁移框架应该派上用场。

https://github.com/datawrangl3r/pg2mongo

在回答您的性能时，每个JSON对象的迁移都是动态的，当您使用上述框架时，不应该出现任何内存锁定问题。

希望它有所帮助!!