MongoDB将文档预加载到RAM中以获得更好的性能

Question

我希望MongoDB将查询结果保存在RAM中更长的时间（如果内存可用，则说30分钟）。可能吗？或者有什么方法可以确保数据在后续查询之前预先加载到RAM中。

事实上，我想知道MongoDB的简单查询结果表现。我有一个10GB RAM的专用服务器，我的db.stats（）如下所示;

db.stats();
{
    "db": "test",
    "collections":16,
    "objects":625690,
    "avgObjSize":68.90,
    "dataSize":43061996,
    "storageSize":1121402888,
    "numExtents":74,
    "indexes":25,
    "indexSize":28207200,
    "fileSize":469762048,
    "nsSizeMB":16,
    "ok":1
}

现在，当我从Web服务查询单个文档（as mentioned here）时，它会在1.3秒内加载。后续调用相同的查询会在400毫秒内给出响应，然后在几秒钟之后，它再次开始耗时1.3秒。看起来MongoDB已经从Memory中丢失了先前查询的文档，因为没有其他查询要求将数据映射到RAM。

请解释一下，让我知道如何使后续查询更快地响应。

Answer 1

您在初始查询中观察到的性能问题可能是以下问题之一（按可能性粗略排列）：

1）您的应用程序/ Web服务在初始化第一个请求时会有一些开销（即分配内存，设置连接池，解析DNS，......）。

2）您请求的索引或数据尚未在内存中，因此需要加载。

3）Query Optimizer可能需要更长时间才能在第一个请求上运行，因为它正在比较查询模式的计划执行。

通过mongo shell测试查询非常有用，并且可以分析开销是否与MongoDB或您的Web服务相关（而不是像您一样对两者进行计时）。

以下是与MongoDB相关的一些注释。

缓存

MongoDB没有内存中文档的“缓存”时间。它使用内存映射文件进行磁盘I / O，内存中的文档基于活动查询（最近加载的文档/索引）以及可用内存。操作系统的虚拟内存管理器负责caching，通常会遵循最近最少使用（LRU）算法来确定哪些页面要更换内存。

内存使用

预期的行为是，随着时间的推移MongoDB将增长以使用所有可用内存来存储您的活动工作数据集。

查看您提供的db.stats()号码（并假设这是您的仅数据库），看起来您的数据库大小目前约为1Gb，因此您应该可以保留所有内容10GB总RAM，除非：

• 还有其他竞争内存的进程
• 您已重新启动mongod服务器并且尚未请求这些文档/索引

在MongoDB 2.2中，有一个新的touch命令可用于在服务器重启后将索引或文档加载到内存中。这应仅在初始启动时用于“预热”服务器，否则您可能无助于强制实际“活动”数据从内存中消失。

例如，在Linux系统上，您可以使用top命令，并且应该看到：

• 虚拟字节/ VSIZE将倾向于整个数据库的大小
• 如果服务器没有运行其他进程，则驻留字节/ RSIZE将是计算机的总内存（包括文件系统缓存内容）
• mongod不应使用swap（因为文件是内存映射的）

您可以使用mongostat工具快速查看mongod活动..或者更有用的是，使用MMS等服务来监控一段时间内的指标。

查询优化工具

MongoDB Query Optimizer每隔约1,000次写入操作比较查询模式的计划执行，然后缓存“获胜”查询计划，直到下次优化程序运行..或者您明确调用{{3}在那个查询上。

这应该是一个简单的测试方法：使用mongo在.explain() shell中运行查询，查看ms时间，以及扫描的索引条目和文档的数量。 explain（）的时间不是查询运行的实际时间，因为它包括比较计划的成本。典型的执行速度会快得多..您可以在mongod日志中查找慢查询。

默认情况下，MongoDB会记录所有低于100毫秒的查询，因此这为查找要优化的查询提供了一个很好的起点。您可以使用explain()配置选项或使用--slowms命令调整慢速ms值。

进一步阅读MongoDB文档：

• Database Profiler
• Caching
• Checking Server Memory Usage
• Database Profiler
• Explain