Question

在我的Spring应用程序中，我想迭代一个Mongo集合来执行每个条目的一些工作。集合可能非常大，因此不能简单地获得所有条目的列表，因为这会导致OutOfMemoryErrors。

我最近的尝试是：

void m(MongoOperations ops, Set<String> ids) {
   Query query = new Query().addCriteria(Criteria.where("id").in(ids));
   CloseableIterator<Foo> it = ops.stream(query, Foo.class);
   it.forEachRemaining(foo -> {
       System.out.println(foo.getName());
   }
}

让我感到惊讶的是我在这里看到OutOfMemoryErrors。看起来匹配查询的所有Foo条目都会在调用it.forEachRemaining时加载到内存中。

Heapdump显示CloseableIteratorAdaptor持有DBCursor，其中包含QueryResultIterator，而stream()则包含所有条目的 ArrayList 。

我做错了吗？ Class Name ----------------------------------------------------------- org.example.server.OrganizationScopedThreadFactory$Organiza |- org.springframework.data.mongodb.core.MongoTemplate$Clos | |- com.mongodb.DBCursor @ 0x8b3bb0f8 | | |- com.mongodb.QueryResultIterator @ 0x8b5e7c70 | | | |- java.util.ArrayList$Itr @ 0x8b5e7cb8 | | | | '- java.util.ArrayList @ 0x8b5e7cd8 | | | | '- java.lang.Object[30391] @ 0x8b5e8ed8 | | | | |- com.mongodb.BasicDBObject @ 0x8c2eed70 | | | | | |- java.util.LinkedHashMap$Entry @ 0x8c2eef18 | | | | | | |- com.mongodb.BasicDBList @ 0x8c2eef78 | | | | | | | '- java.lang.Object[10] @ 0x8c2eef98 | | | | | | | '- com.mongodb.DBRef @ 0x8c2eefd0 | | | | | | | |- com.mongodb.BasicDBObject | | | | | | | |- org.bson.types.ObjectId | | | | | | | '- Total: 2 entries | | | | | | |- java.lang.String @ 0x8c2eef40 projects | | | | | | '- Total: 2 entries | | | | | |- java.util.LinkedHashMap$Entry @ 0x8c2eee00 | | | | | |- java.util.LinkedHashMap$Entry @ 0x8c2eeea0 | | | | | |- java.util.HashMap$Node[16] @ 0x8c2eedb0 | | | | | '- Total: 4 entries | | | | |- com.mongodb.BasicDBObject @ 0x8bcfd4c0 | | | | |- com.mongodb.BasicDBObject @ 0x8c48e2c8 | | | | |- com.mongodb.BasicDBObject @ 0x8c66f668 | | | | |- com.mongodb.BasicDBObject @ 0x8c87afe0 | | | | |- com.mongodb.BasicDBObject @ 0x8c521008 | | | | |- com.mongodb.BasicDBObject @ 0x8cdc68d0 | | | | |- com.mongodb.BasicDBObject @ 0x8c8efa40 | | | | |- com.mongodb.BasicDBObject @ 0x8b8e0d18 | | | | |- com.mongodb.BasicDBObject @ 0x8bbc5a30 | | | | |- com.mongodb.BasicDBObject @ 0x8bc446e8 | | | | |- com.mongodb.BasicDBObject @ 0x8bcc0ca0 | | | | |- com.mongodb.BasicDBObject @ 0x8bda1d30 | | | | |- com.mongodb.BasicDBObject @ 0x8be46048 | | | | |- com.mongodb.BasicDBObject @ 0x8be462e8 | | | | |- com.mongodb.BasicDBObject @ 0x8beb24f8 | | | | |- com.mongodb.BasicDBObject @ 0x8beb2798 | | | | |- com.mongodb.BasicDBObject @ 0x8bee79d0 | | | | |- com.mongodb.BasicDBObject @ 0x8bf04f38 | | | | |- com.mongodb.BasicDBObject @ 0x8bf0eae8 | | | | |- com.mongodb.BasicDBObject @ 0x8bf0ed88 | | | | |- com.mongodb.BasicDBObject @ 0x8bf14220 | | | | |- com.mongodb.BasicDBObject @ 0x8bf3edf0 | | | | |- com.mongodb.BasicDBObject @ 0x8bf78640 | | | | |- com.mongodb.BasicDBObject @ 0x8bf7dd30 | | | | '- Total: 25 of 30.276 entries; 30.251 more ----------------------------------------------------------- 是否始终将所有条目加载到内存中？我必须实现分页吗？ | Shallow Heap | Retained Heap | Percentage ------------------------------------------------------------------------------------------------------ tionScopedThread @ 0x81f71718 pool-1-thread-1 Thread| 128 | 1,453,308,456 | 87,50% eableIterableCursorAdapter @ 0x8b2df1c0 | 24 | 1,432,708,656 | 86,26% | 96 | 1,432,708,600 | 86,26% | 72 | 1,431,064,320 | 86,16% | 32 | 1,431,064,152 | 86,16% | 24 | 1,431,064,120 | 86,16% | 121,584 | 1,431,064,096 | 86,16% | 64 | 123,528 | 0,01% | 40 | 122,240 | 0,01% | 32 | 122,144 | 0,01% | 56 | 122,112 | 0,01% | 32 | 122,056 | 0,01% @ 0xc5dbc778 | 64 | 121,992 | 0,01% @ 0x8c2eeff0 | 32 | 32 | 0,00% | | | | 24 | 56 | 0,00% | | | | 40 | 1,024 | 0,00% | 40 | 120 | 0,00% | 80 | 80 | 0,00% | | | | 64 | 123,480 | 0,01% | 64 | 113,520 | 0,01% | 64 | 112,296 | 0,01% | 64 | 112,120 | 0,01% | 64 | 106,096 | 0,01% | 64 | 99,576 | 0,01% | 64 | 90,456 | 0,01% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | 64 | 77,600 | 0,00% | | | ------------------------------------------------------------------------------------------------------

这是我的堆转储的支配树的相关部分。

ViewScoped

更新我已经尝试通过设置查询的限制并对其进行排序来实现分页，然后重复跳过条目，直到我迭代了所有内容。虽然这确实解决了我的内存问题，但它显着降低了性能（大约慢了100倍），可能是由于需要排序。

我正在使用Spring Boot 1.3.7

Answer 1

对于游标应用了16 MB的内存限制，您可能需要编写应用程序级别循环以通过使用跳过和限制以及排序来选择1000个批次。

首先选择1000，然后是1000到2000，依此类推，直到文档结束，确保在查询中使用排序，以便数据一致。

如果您要修改要查询和排序的字段，那么您必须注意，以便相同的数据不会一次又一次地弹出。

如何在没有OutOfMemoryError的情况下迭代大型Mongo集合

1 个答案: