确定从数据库中提取多少文档以获取内存利用率

Question

我使用python 2.7和mongodb作为我的数据库。 （实际上，这与我使用的数据库无关）

在我的数据库中，我有数百万个文档，我不时需要遍历所有文档。

在一个查询中提取所有文档是不现实的，因为这会扼杀内存，而是我每次迭代1000个文档并迭代它们，当我完成时我再拉1000个等等。

我想知道是否有任何公式来计算从数据库中提取每次迭代的最佳数量。

我无法通过互联网找到能解决我问题的东西。

基本上我的问题是在每次迭代中找到从数据库中提取的最佳数字的最佳方法是什么。

Answer 1

你唯一的机会是拿一些样本文件来计算它们的平均大小。更难的部分是知道可用内存是什么，请记住还有其他进程同时使用ram！

所以，即使你走这条路，也需要保留一定数量的公羊。我怀疑这种努力是值得的。