优化使用大型集合在mongoDB中检索数据时间

时间:2016-03-04 06:49:46

标签: java mongodb postgresql

我通过谷歌搜索但仍无法找到解决问题的方法。对不起,如果我在问之前错过了什

我的问题是我必须将数据从mongoDB迁移到postgresDB。据我所知它没有任何工具可以做到这一点,然后我为我的迁移工作创建了一个Java工具。

为了确保数据的完整性,我将数据划分为块,每个块都是一年的数据 - 我在获取数据查询中这样划分,每次我得到1000条记录,下次我跳过(1000 x时间)。并按日期排序。 我的查询是这样的:

db.collection.find({“dt”: {$gte: 120101000000, $lt: 130101000000}}).sort({“dt”:1}).skip(n * x).limit(n);

我遇到了很多问题,但现在最大的问题是从mongo获取数据到迁移需要花费太多时间,我必须等待几分钟才能完成1年块的一个迷你块(1000条记录)。

我的收藏记录:~220mil,我不确定这可以调用大集合......我正在使用mongo-2.10.1.jar lib来完成我的任务。

  • 是否有任何解决方案可以更快地从mongo中检索数据。
  • 您能否告诉我有关迁移解决方案的任何信息?有没有更好的解决方案来完成这项任务?

提前感谢您的建议。

0 个答案:

没有答案