Question

我有一个nodejs + mongodb应用程序连接如下：

var dbConfig = new mongo.Server(config.db.host, config.db.port, {auto_reconnect: true, poolSize: 20});

var db = new mongo.Db(config.db.name, dbConfig);

当进行基准测试（使用apache ab）时，发现当并发连接是＆gt;时，它会挣扎（时间> = 1秒）。 20（甚至2个或更多并发连接似乎线性增加时间）：

[
    {
        "key": "mongoQuery1",
        "min": 2,
        "max": 598,
        "mean": 387.60683760683764,
        "sd": 134.56045668980255,
        "variance": 18106.51650456823
    },
    {
        "key": "mongoQuery2",
        "min": 8,
        "max": 149,
        "mean": 73.14120370370358,
        "sd": 25.141715811881994,
        "variance": 632.1058739654371
    },
    ...
]

以上是我用于从节点应用程序捕获分析信息的分析服务器的输出。所以基本上，我已经把这样的东西分析了应用程序：

var start = new Date().getTime();

db.collection('TheCollection', query, function(err, col) {
  col.find(query).toArray(function(err, items) {
    var elapsed = new Date().getTime() - start;
    profiler.send('mongoQuery1', elapsed);
  });
});

请注意，集合大小最小（700条记录），并且集合都根据查询编制索引。

我坚持想法，任何人都知道为什么表现如此糟糕？

修改

用于简单查询，如：

db.user_permission.find({ username: 'a', permission_type: 'vehicle'})

user_permission具有索引：

db.user_permission.ensureIndex({username: 1, permission_type: 1});

时间与并发用户呈线性增长

编辑2

尝试打开mongod的分析（--profile = 2 --slowms = 100）

每次我对它运行ab时，db都会被损坏，mongod日志中有以下内容：

Wed Nov 21 10:41:54 [conn4] creating profile collection: knightsbridge.system.profile
Wed Nov 21 10:41:54 [FileAllocator] allocating new datafile /Users/dzhu/data/mongodb/knightsbridge.ns, filling with zeroes...
Wed Nov 21 10:41:54 [FileAllocator] creating directory /Users/dzhu/data/mongodb/_tmp
Wed Nov 21 10:41:54 [FileAllocator] done allocating datafile /Users/dzhu/data/mongodb/knightsbridge.ns, size: 16MB,  took 0.018 secs
Wed Nov 21 10:41:54 [FileAllocator] allocating new datafile /Users/dzhu/data/mongodb/knightsbridge.0, filling with zeroes...
Wed Nov 21 10:41:54 [FileAllocator] done allocating datafile /Users/dzhu/data/mongodb/knightsbridge.0, size: 64MB,  took 0.152 secs
Wed Nov 21 10:41:54 [conn5] Assertion: 10334:Invalid BSONObj size: 0 (0x00000000) first element: EOO
0x10037637b 0x1000afc2e 0x1000b005c 0x10001ea53 0x100233529 0x1002a9b0b 0x1001a0a9f 0x10069518b 0x1002a2a4e 0x1005ca15e 0x10064a0ca 0x100018681 0x10019302c 0x1005a7823 0x7fff8a42f8bf 0x7fff8a432b75 
 0   mongod                              0x000000010037637b _ZN5mongo15printStackTraceERSo + 43
 1   mongod                              0x00000001000afc2e _ZN5mongo11msgassertedEiPKc + 206
 2   mongod                              0x00000001000b005c _ZN5mongo11msgassertedEiRKSs + 12
 3   mongod                              0x000000010001ea53 _ZNK5mongo7BSONObj14_assertInvalidEv + 1475
 4   mongod                              0x0000000100233529 _ZN5mongo13unindexRecordEPNS_16NamespaceDetailsEPNS_6RecordERKNS_7DiskLocEb + 265
 5   mongod                              0x00000001002a9b0b _ZN5mongo11DataFileMgr12deleteRecordEPKcPNS_6RecordERKNS_7DiskLocEbbb + 587
 6   mongod                              0x00000001001a0a9f _ZN5mongo16NamespaceDetails11cappedAllocEPKci + 1535
 7   mongod                              0x000000010069518b _ZN5mongo16NamespaceDetails5allocEPKciRNS_7DiskLocE + 123
 8   mongod                              0x00000001002a2a4e _ZN5mongo11DataFileMgr17fast_oplog_insertEPNS_16NamespaceDetailsEPKci + 126
 9   mongod                              0x00000001005ca15e _ZN5mongo7profileERKNS_6ClientERNS_5CurOpE + 3134
 10  mongod                              0x000000010064a0ca _ZN5mongo16assembleResponseERNS_7MessageERNS_10DbResponseERKNS_11HostAndPortE + 4010
 11  mongod                              0x0000000100018681 _ZN5mongo16MyMessageHandler7processERNS_7MessageEPNS_21AbstractMessagingPortEPNS_9LastErrorE + 257
 12  mongod                              0x000000010019302c _ZN5mongo3pms9threadRunEPNS_13MessagingPortE + 1084
 13  mongod                              0x00000001005a7823 thread_proxy + 163
 14  libsystem_c.dylib                   0x00007fff8a42f8bf _pthread_start + 335
 15  libsystem_c.dylib                   0x00007fff8a432b75 thread_start + 13

mongod版本：

mongod --version
db version v2.2.0, pdfile version 4.5
Wed Nov 21 10:47:24 git version: f5e83eae9cfbec7fb7a071321928f00d1b0c5207

同时

除了默认的nodejs驱动程序poolSize为1之外，mongod是否限制了允许的并发连接数？

Answer 1

Dzhu，一堆东西：

您是否从mongo shell尝试此查询？你可以尝试在shell上运行它，还可以使用.explain（）函数来了解服务器执行时间吗？这将帮助您验证索引是否正确，并且如果性能问题出在客户端或服务器端，则应该有助于隔离。
你有同时发生的写作吗？在您的基准测试运行时，这段代码是否为数据库提供了唯一的工作负载，还是同时还有更多的代码？
在基准测试运行时使用mongostat实用程序（请参阅mongodb docs）。这将让您了解服务器实时执行的操作。特别是，请查看lock％和qr / qw列。 qr / qw列告诉您有多少读取和写入操作排队（即阻塞并等待执行）。
请注意，将mongo服务器分析器打开到级别2（ - profile = 2）将导致服务器记录所有操作，这会严重影响数据库性能。使用--profile = 1仅记录慢于slowMs的操作。完成基准测试后，请查看db.system.profile的内容，以获取有关服务器执行的任何慢速操作的详细信息。

这应该可以帮助您入门。

Answer 2

要使用mongo db和node js，我发现https://docs.mongodb.com文档存在问题。

这对我有用：

设置分析级别： const set = await db.setProfilingLevel('all')
要阅读配置文件：

代码

function profile (db, limit = 10) {
  const mc = db
  return new Promise((resolve, reject) => {
    mc.collection('system.profile').find().limit(limit)
      .sort({ ts: -1 }).toArray((err, res) => {
        if (err) return reject(err)
        resolve(!!res && !!res[0] && res)
      })
  })
}

NodeJS + Mongodb性能问题

2 个答案: