Question

我正在使用MongoDB测试Node.js的性能。我知道每一个都很好，独立于另一个，但我正在尝试一些测试来感受它们。我遇到了这个问题，我无法确定来源。

问题

我正在尝试在单个Node.js程序中插入1,000,000条记录。 绝对抓狂。 我们说的是20分钟的执行时间。无论是我的Mac还是CentOS都会出现这种情况，尽管两者之间的行为略有不同。它最终会完成。

效果类似于交换，虽然它不是（内存永远不会超过2 GB）。 MongoDB只有3个连接，大多数时候没有插入数据。它似乎正在进行大量的上下文切换，并且Node.js CPU核心被最大化。

效果类似于this thread中提到的效果。

我尝试使用PHP，并在2-3分钟内完成。没戏。

为什么？

可能的原因

我目前认为这是一个Node.js套接字问题，在幕后发生的事情，或者其他一些node-mongodb-native问题。我可能完全错了，所以我在这里寻找一点指导。

对于其他Node.js MongoDB适配器，我尝试过Mongolian，它似乎排队文件以便批量插入它们，并且它最终耗尽了内存。所以那就是了。（旁注：我也不知道为什么会这样，因为它甚至没有接近我的16 GB盒子限制 - 但是我没有在这方面进一步调查。）

我应该提一下，我确实测试了一个拥有4名工作人员（在四核机器上）的主/工作群集，并在2-3分钟内完成。

守则

这是我的Node.js CoffeeScript程序：

mongodb = require "mongodb"
microtime = require "microtime"
crypto = require "crypto"

times = 1000000
server = new mongodb.Server "127.0.0.1", 27017
db = mongodb.Db "test", server
db.open (error, client) ->
  throw error if error?

  collection = mongodb.Collection client, "foo"

  for i in [0...times]
    console.log "Inserting #{i}..." if i % 100000 == 0

    hash = crypto.createHash "sha1"
    hash.update "" + microtime.now() + (Math.random() * 255 | 0)
    key = hash.digest "hex"

    doc =
      key: key,
      foo1: 1000,
      foo2: 1000,
      foo3: 1000,
      bar1: 2000,
      bar2: 2000,
      bar3: 2000,
      baz1: 3000,
      baz2: 3000,
      baz3: 3000

    collection.insert doc, safe: true, (error, response) ->
      console.log error.message if error

这是大致相当的PHP程序：

<?php
$mongo = new Mongo();
$collection = $mongo->test->foo;

$times = 1000000;
for ($i = 0; $i < $times; $i++) {
    if ($i % 100000 == 0) {
        print "Inserting $i...\n";
    }

    $doc = array(
        "key" => sha1(microtime(true) + rand(0, 255)),
        "foo1" => 1000,
        "foo2" => 1000,
        "foo3" => 1000,
        "bar1" => 2000,
        "bar2" => 2000,
        "bar3" => 2000,
        "baz1" => 3000,
        "baz2" => 3000,
        "baz3" => 3000
    );
    try {
        $collection->insert($doc, array("safe" => true));
    } catch (MongoCursorException $e) {
        print $e->getMessage() . "\n";
    }
}

Answer 1

听起来你在V8中遇到了默认的堆限制。我写了一篇关于删除此限制的blog post。

垃圾收集器可能会疯狂并咀嚼CPU，因为它会一直执行，直到你达到1.4GB的限制。

Answer 2

如果在db.open回调函数末尾显式返回值，会发生什么？你生成的javascript代码正在将你所有的collection.insert返回到一个大的“_results”数组，这个数组会越来越慢，我想。

db.open(function(error, client) {
  var collection, doc, hash, i, key, _i, _results;
  if (error != null) {
    throw error;
  }
  collection = mongodb.Collection(client, "foo");
  _results = [];
  for (i = _i = 0; 0 <= times ? _i < times : _i > times; i = 0 <= times ? ++_i : --_i) {
    ...
    _results.push(collection.insert(doc, {
      safe: true
    }, function(error, response) {
      if (error) {
        return console.log(error.message);
      }
    }));
  }
  return _results;
});

尝试在coffeescript的末尾添加：

    collection.insert doc, safe: true, (error, response) ->
      console.log error.message if error

  return

* 更新：* 所以，我实际上试图运行你的程序，并注意到一些问题：

最大的问题是你试图以同步的方式产生一百万个插入，这将真正杀死你的RAM，并最终停止插入（至少，它为我做了）。我以800MB RAM左右杀了它。

您需要更改调用collection.insert（）的方式，以便它以异步方式工作。

我重写了它，为了清楚起见，打破了几个功能：

mongodb = require "mongodb"
microtime = require "microtime"
crypto = require "crypto"

gen  = () ->
  hash = crypto.createHash "sha1"
  hash.update "" + microtime.now() + (Math.random() * 255 | 0)
  key = hash.digest "hex"

  key: key,
  foo1: 1000,
  foo2: 1000,
  foo3: 1000,
  bar1: 2000,
  bar2: 2000,
  bar3: 2000,
  baz1: 3000,
  baz2: 3000,
  baz3: 3000

times = 1000000
i = times

insertDocs = (collection) ->
  collection.insert gen(), {safe:true}, () ->
    console.log "Inserting #{times-i}..." if i % 100000 == 0
    if --i > 0
      insertDocs(collection)
    else
      process.exit 0
  return

server = new mongodb.Server "127.0.0.1", 27017
db = mongodb.Db "test", server
db.open (error, db) ->
  throw error if error?
  db.collection "foo", (err, collection) ->
    insertDocs(collection)
    return
  return

在~3分钟内完成：

wfreeman$ time coffee mongotest.coffee
Inserting 0...
Inserting 100000...
Inserting 200000...
Inserting 300000...
Inserting 400000...
Inserting 500000...
Inserting 600000...
Inserting 700000...
Inserting 800000...
Inserting 900000...

real    3m31.991s
user    1m55.211s
sys 0m23.420s

此外，它的另一个好处是使用＆lt; 100MB的RAM，70％的节点CPU和40％的mongod CPU（在2核盒子上，所以它看起来不是最大化CPU）

插入node-mongodb-native的性能

2 个答案: