Question

我有一个API端点，我试图强调测试，它读取一个非常大的MongoDB数据库集合（200万个文档）。每个查询大约需要 2秒，但我遇到的问题是与数据库的连接没有正确汇集，因此每个查询都会顺序而不是同时

我使用Mongoose连接到我的数据库，我正在使用artillery.io进行测试。

这是我的连接代码：

const mongoose = require('mongoose');
const Promise = require('bluebird');

const connectionString = process.env.MONGO_DB || 'mongodb://localhost/mydatabase';

mongoose.Promise = Promise;

mongoose.connect(connectionString, {
    server: { poolSize: 10 }
});

const db = mongoose.connection;

db.on('error', console.error.bind(console, 'connection error: '));

db.once('open', function() {
    console.log('Connected to: ' + connectionString);
});

module.exports = db;

这是您的标准连接程序，但最重要的部分可能是server: { poolSize: 10 }行。

我正在使用以下脚本进行 artillery.io 测试：

config:
  target: 'http://localhost:1337'
  phases:
    -
      duration: 10
      arrivalRate: 5
      name: "Warm-up"

scenarios:
  -
    name: "Search by postcodes"
    flow:
      -
        post:
          url: "/api/postcodes/gb_full/search"
          headers:
            Content-Type: 'application/json'
          json:
            postcodes:
              - ABC 123,
              - DEF 345,
              - GHI 678

此测试通过 10秒对API执行 50 调用。现在问题在于，API似乎执行查询顺序，请参阅下面的测试结果：

"latency": {
  "min": 1394.1,
  "max": 57693,
  "median": 30222.7,
  "p95": 55396.8,
  "p99": 57693
},

数据库日志如下：

connection accepted from 127.0.0.1:60770 #1 (1 connection now open)
...
2017-04-10T18:45:55.389+0100 ... 1329ms
2017-04-10T18:45:56.711+0100 ... 1321ms
2017-04-10T18:45:58.016+0100 ... 1304ms
2017-04-10T18:45:59.355+0100 ... 1338ms
2017-04-10T18:46:00.651+0100 ... 1295ms

似乎API只使用一个连接，这似乎是正确的但是我的理解是，这会自动使poolSize得到充分利用并执行这些查询并发一次一个。

我在这里做错了什么？如何并行执行这些数据库查询？

修改1 - 模型和查询

为了让事情更清楚一点，我使用以下模型：

const mongoose = require('mongoose');
const db = require('...');

const postcodeSchema = mongoose.Schema({
    postcode: { type: String, required: true },
    ...
    location: {
      type: { type: String, required: true },
      coordinates: [] //coordinates must be in longitude, latitude order.
    }
});

//Define the index for the location object.
postcodeSchema.index({location: '2dsphere'});

//Export a function that will allow us to define the collection
//name so we'll pass in something like: GB, IT, DE ect for different data sets.
module.exports = function(collectionName) {
    return db.model('Postcode', postcodeSchema, collectionName.toLowerCase());
};

db对象是此问题顶部解释的连接模块。

我正在使用以下内容执行查询：

/**
 * Searches and returns GeoJSON data for a given array of postcodes.
 * @param {Array} postcodes - The postcode array to search.
 * @param {String} collection - The name of the collection to search, i.e 'GB'.
 */
function search(postcodes, collection) {
    return new Promise((resolve, reject) => {
        let col = new PostcodeCollection(collection.toLowerCase());

        col.find({
            postcode: { $in: postcodes }
        })
        .exec((err, docs) => {
            if (err)
                return reject(err);

            resolve(docs);
        });
    });
}

这是一个如何调用函数的例子：

search(['ABC 123', 'DEF 456', 'GHI 789'], 'gb_full')
.then(postcodes => {
    console.log(postcodes);
})
.catch(...);

要重新迭代，这些查询是通过node.js API执行的，因此它们已经是异步的，但查询本身是一个接一个地执行的。因此我认为问题可能在MongoDB方面，但我不知道从哪里开始寻找。如果已经有一个正在运行的话，MongoDB几乎就像阻止对集合执行任何其他查询一样。

我在 Windows 10 计算机上本地运行mongod.exe实例。

Answer 1

首先，MongoDB在发出查询时有一个读锁定（参见此处）。这就是它按顺序执行查询的原因。进一步改进这一点的唯一方法是分割集合。

如果您使用mongo 3.0+和wiredtiger作为存储引擎，则可以锁定文档级别。查询不应该按顺序执行，分片肯定会有助于参数化，但对于大多数现代计算机/服务器硬件而言，2kk文档不应成为问题。

你在第一个问题上提到了mongodb的日志文件，你应该打开多个连接，是这样吗？

Answer 2

好的，所以我设法找出问题所在。

首先，MongoDB在发出查询时有一个读锁（参见here）。这就是它按顺序执行查询的原因。进一步改进这一点的唯一方法是分片集合。

另外，正如Jorge建议的那样，我在邮政编码字段中添加了一个索引，这大大减少了延迟。

postcodeSchema.index({ postcode: 1 }); //, { unique: true } is a tiny bit faster.

为了正确看待，以下是新指数的压力测试结果：

"latency": {
  "min": 5.2,
  "max": 72.2,
  "median": 11.1,
  "p95": 17,
  "p99": null
},

中位潜伏期从 30秒下降到 11毫秒，这是一个惊人的改进。

MongoDB按顺序而不是并行执行查询

2 个答案: