Question

我们正在尝试使用mongo为我们的用户构建通知应用程序。我们在10GB RAM，150GB SAS HDD 15K RPM，4 Core 2.9GHZ xeon intel XEN VM上创建了1个mongodb。

数据库架构： -

{
  "_id" : ObjectId("5178c458e4b0e2f3cee77d47"),
  "userId" : NumberLong(1574631),
  "type" : 2,
  "text" : "a user connected to B",
  "status" : 0,
  "createdDate" : ISODate("2013-04-25T05:51:19.995Z"),
  "modifiedDate" : ISODate("2013-04-25T05:51:19.995Z"),
  "metadata" : "{\"INVITEE_NAME\":\"2344\",\"INVITEE\":1232143,\"INVITE_SENDER\":1574476,\"INVITE_SENDER_NAME\":\"123213\"}",
  "opType" : 1,
  "actorId" : NumberLong(1574630),
  "actorName" : "2344"
}

DB stats :-
db.stats()
{
    "db" : "UserNotificationDev2",
    "collections" : 3,
    "objects" : 78597973,
    "avgObjSize" : 489.00035699393925,
    "dataSize" : 38434436856,
    "storageSize" : 41501835008,
    "numExtents" : 42,
    "indexes" : 2,
    "indexSize" : 4272393328,
    "fileSize" : 49301946368,
    "nsSizeMB" : 16,
    "dataFileVersion" : {
        "major" : 4,
        "minor" : 5
    },
    "ok" : 1
}

索引： - userid和_id

我们正在尝试为一位用户选择最新的21条通知。

db.userNotification.find({ "userId" : 53 }).limit(21).sort({ "_id" : -1 });

但是这个查询花了太多时间。星期五4月26日05:39:55.563 [conn156]查询UserNotificationDev2.userNotification查询：{query：{userId：53}，orderby：{_ id：-1}} cursorid：225321382318166794 ntoreturn：21 ntoskip：0 nscanned：266025 keyUpdates：0 numYields：2个锁（微型）r：4224498 nreturned：21 reslen：10295 2581ms

即便数也花费了很多时间。

Fri Apr 26 05:47:46.005 [conn159] command UserNotificationDev2.$cmd command: { count: "userNotification", query: { userId: 53 } } ntoreturn:1 keyUpdates:0 numYields: 11 locks(micros) r:9753890 reslen:48 5022ms

我们在查询中做错了吗？

请帮助!!!

还建议我们的架构是否存储用户通知不正确。我们尝试过嵌入式通知，例如用户，然后在该文档下为该用户发出通知，但文档限制限制我们只存储~50k通知。所以我们改变了这一点。

Answer 1

您正在通过userId进行查询，但未在任何位置对其进行索引。我的建议是在{ "userId" : 1, "_id" : -1 }上创建一个索引。这将创建一个以userId开头的索引树，然后是_id，这几乎就是您的查询正在执行的操作。这是加速查询的最简单/最灵活的方式。

另一种更节省内存的方法是将您的userId和timestamp存储为_id中的字符串，如_id : "USER_ID:DATETIME。例如：

{_id : "12345:20120501123000"}
{_id : "15897:20120501124000"}
{_id : "15897:20120501125000"}

注意_id是一个字符串，而不是MongoId。那么你上面的查询就变成了一个正则表达式：

db.userNotification.find({ "_id" : /^53:/ }).limit(21).sort({ "_id" : -1 });

正如预期的那样，这将按降序返回userId 53的所有通知。内存高效部分有两个方面：

您只需要一个索引字段。（索引与内存数据竞争，通常是几个演出）
如果您的查询通常是关于获取更新的数据，当索引太大而不适合整体时，Right Balanced索引会让您最常在内存中工作。

Re：数。 Count确实需要时间，因为它会扫描整个集合。

Re：您的架构。我猜你的数据集这是利用你记忆的最好方法。当对象变大并且您的查询扫描多个对象时，它们将需要完整地加载到内存中（当我在2GB RAM计算机上使用2000个2MB对象进行排序时，我有OOM杀手杀死我的mongod实例）。对于大型对象，您的RAM使用量会大幅波动（更不用说它们被限制到一个点）。使用您当前的模式，mongo将更容易加载您正在查询的数据，从而减少交换和更一致的内存使用模式。

Answer 2

一种选择是尝试分片，然后您可以在分片之间均匀分配通知，因此当您需要选择时，您将扫描较小的数据子集。但是需要决定你的分片将使用什么。对我来说它看起来像operationType或userName，但我不太了解你的数据。另一件事是为什么你按_id排序？

Answer 3

我刚尝试复制你的问题。在userNotifications中创建了140.000.000个插入。如果没有userId上的索引，我得到3-4秒的响应。我在userId上创建索引后，几乎立即响应了。

db.userNotifications.getIndexes()

[ { “v”：1， “关键”：{ “_id”：1 }， “ns”：“test.userNotifications”， “name”：“ id ” }， { “v”：1， “关键”：{ “userId”：1 }， “ns”：“test.userNotifications”， “name”：“userId_1” } ]

另一件事是：当你的选择发生时系统不断地写入mongo userNotification集合？如果发生这种情况，Mongo会锁定整个集合如果是这样的话我会拆分主服务器和从服务器之间的读写操作（请参阅复制）并进行一些分片。顺便说一句。您的应用使用哪种语言？

Answer 4

最重要的是，您目前似乎没有索引来支持查询用户的最新通知。

您需要在userId，_id上使用复合索引。这将支持仅由userId查询的查询，但userId的查询也使用它们，这些查询按_id排序/限制。

当你添加{userId：1，_id：-1}索引时，不要忘记只删除userId上的索引，因为它会变得多余。

就count（）而言，确保使用2.4.3（最新版本）时，count（）使用索引的方式有了显着的改进，从而带来了更好的性能。

即使使用索引，MongoDb性能也很慢

4 个答案: