Question

我们正在使用具有MongoDB API支持的Azure CosmosDB的特定实例。

我使用一个名为es6-promise-pool的库来限制并发性（我将其降低为1）。

function updateLoglineDB(outArr, brbId, context) {
    return new Promise((resolve, reject) => {
        let concurrency = 1;
        const promiseIterator = generatePromisesLoglines(outArr, brbId, context);
        let pool = new PromisePool(promiseIterator, concurrency);

        pool.start().then((done) => {
            resolve(done);
        }).catch((err) => {
            reject(err);
        });
    });
}

这是generatePromisesLoglines函数：

const generatePromisesLoglines = function * (outArr, brbId, context) {
    for (let entry of outArr) {
        yield promiseWrite(entry, brbId, context);
    }
};

这是promiseWrite函数：

function promiseWrite(entry, brbId, context) {
    return new Promise((resolve, reject) => {
        let loglineColl = db.get().collection(logLinesCollection);
        loglineColl.update({ _id: entry._id }, {$set: entry}, {upsert: true}, function(err, result) {
            if (err) {
                context.log(brbId, ': ', err);
                reject(`logline write rejected with error ${err}, ${brbId}, ${entry}`);
            } else {
                resolve(`result of update: ${JSON.stringify(result)}`);
            }
        });
    });
}

根据此网页，我一直在寻找批量插入功能，但是找不到任何批量插入或批量更新：Azure Cosmos DB Mongo API support

当我尝试一次插入约15-20k个文档时，出现请求率大错误。有没有更好的方法可以编写此代码，或者可以使用某种支持的MongoDB API插入Azure CosmosDB的批量插入？

我创建了一个具有100,000 RU的分片的测试数据库，我认为它不需要的更多，因为每个文档都相对较小。

示例文档：

{
    "_id" : "1456026|<filename>|8842",
    "signatureGroup" : "<teamName>",
    "brbId" : "145602",
    "file" : "<filename>",
    "lineNumber" : 8842,
    "line" : "<sample logline> ~200-300 characters",
    "date" : ISODate("2018-05-14T20:15:13.771Z"),
    "matchCode" : "<sample matchCode>",
    "info" : false
}

带有MongoDB API的Azure CosmosDB：如何避免请求率过高的错误

0 个答案: