Question

我在使用Mongoskin在Node上执行批量插入（MongoDB 2.6+）时遇到了麻烦。

var dbURI = urigoeshere;
var db = mongo.db(dbURI, {safe:true});
var bulk = db.collection('collection').initializeUnorderedBulkOp();

for (var i = 0; i < 200000; i++) {
    bulk.insert({number: i}, function() {
        console.log('bulk inserting: ', i);
    });
}

bulk.execute(function(err, result) {
    res.json('send response statement');
});

上面的代码提供了以下警告/错误：

(node) warning: possible EventEmitter memory leak detected. 51 listeners added. Use emitter.setMaxListeners() to increase limit.
TypeError: Object #<SkinClass> has no method 'execute'
(node) warning: possible EventEmitter memory leak detected. 51 listeners added. Use emitter.setMaxListeners() to increase limit.
TypeError: Object #<SkinClass> has no method 'execute'

是否可以使用Mongoskin执行无序批量操作？如果是这样，我做错了什么？

Answer 1

你可以这样做，但你需要改变你的调用约定来做到这一点，因为只有“回调”表单实际上会返回一个集合对象，从中可以调用.initializeUnorderedBulkOp()方法。您认为这种方法的工作方式也存在一些差异：

var dbURI = urigoeshere;
var db = mongo.db(dbURI, {safe:true});
db.collection('collection',function(err,collection) {
    var bulk = collection.initializeUnorderedBulkOp();
    count = 0;

    for (var i = 0; i < 200000; i++) {
        bulk.insert({number: i});
        count++;

        if ( count % 1000 == 0 )
            bulk.execute(function(err,result) {
               // maybe do something with results
               bulk = collection.initializeUnorderedBulkOp(); // reset after execute
            });      

    });

    // If your loop was not a round divisor of 1000
    if ( count % 1000 != 0 )
        bulk.execute(function(err,result) {
          // maybe do something here
        });
});

因此，实际的“批量”方法本身不需要回调，并且完全按照the documentation中的说明工作。 exeception是.execute()，它实际上将语句发送到服务器。

虽然驱动程序会在某种程度上为您排序，但在调用execute之前排队太多操作可能不是一个好主意。这基本上建立在内存中，虽然驱动程序一次只发送1000个批次（这是一个服务器限制以及整个批处理小于16MB），你可能想要一点点控制，至少限制内存使用量。

这是模数测试的重点，如图所示，但是如果用于构建操作的内存和可能非常大的响应对象对您来说不是问题，那么您可以继续排队操作并调用.execute()一次

“响应”的格式与BulkWriteResult的文档中给出的格式相同。

如何使用Mongoskin无序批量插入？

1 个答案: