Question

我已经创建了一个nodejs脚本来处理mongodb产品集合。每个产品都需要使用表达式语言jexl进行处理。最终结果应该是包含所有产品数据的文本文件。该脚本可以工作，但我需要一些帮助来优化它，因为它消耗了大量的内存。在脚本中，我正在使用批量大小为1-5的mongodb游标来限制收到的文档。该查询接收约9200个文档，平均大小为8.7KB。

批量大小为1时，脚本需要数小时才能消耗大约200-600 MB的内存。当我将batchsize设置为~10时，我得到一个内存不足异常。（CALL_AND_RETRY_LAST分配失败 - 处理内存不足）。

我试图注释掉jexl.eval，脚本会在几秒钟后运行。

有人知道如何优化此脚本吗？ lineTemplate是所有jexl表达式的连接字符串。我剪切了这个表达式字符串，使整个脚本更具可读性。通常，属性中的最后一个表达式“{{attributes [.id == 1＆amp;＆amp; .language ==”“]属性[.id == 1＆amp;＆amp; .language ==”“] .value：” “}} |”用不同的id重复106次。

var async = require("async");

var lineTemplate = '{{no}}|Parent_ID|{{no}}|{{translations[.language == "DE-DE"] in translations ? translations[.language == "DE-DE"].title : ""}}|{{prices[.channel == "DE" && .specialPrice == false] in prices ? prices[.channel == "DE" && .specialPrice == false].price : ""}}|{{prices[.channel == "DE" && .specialPrice == true] in prices ? prices[.channel == "DE" && .specialPrice == true].price : ""}}|{{itemCategory}}|{{productGroup}}|{{groupOfGoods}}|http://www.google.de/test.html|{{crossReferenceNo}}|{{brand}}|Replenishment_in_days|Quantity_in_Stock|Availability|EUR|{{attributes[.id == 1 && .language == ""] in attributes ? attributes[.id == 1 && .language == ""].value : ""}}| ... \r\n'

var MongoClient = require('mongodb').MongoClient
  , assert = require('assert');

var fs = require('fs');
var filename = '/tmp/products.txt'; 
fs.writeFileSync(filename, 'no;name;price\r\n');

function ProcessProduct(product, expression, cb) {
  var jexl = require('Jexl');
  var regex = /{{([^{}]*)}}/g;
  var line = lineTemplate;
  var matches = lineTemplate.match(regex);

  async.each(matches,
    function(match, callback){
        var query = match.substring(2, match.length - 2);
        jexl.eval(query, product, function(err, res) {
            if(err) console.log(err);
            //console.log(res);
            var strToReplace = "{{" + query + "}}";
            line = line.replace(strToReplace, res);
            callback();
        });
    },
    function(err){
        delete(jexl);
        if(err) return cb(err, null);
        cb(null, line);
    }
  );
}

var url = 'mongodb://localhost/test';
MongoClient.connect(url, function(err, db) {
  assert.equal(null, err);
  console.log("Connected correctly to server");

  var collection = db.collection('products');
  var cursor = collection.find({ "saleschannel": { $elemMatch: { "channel": "DE" } }}, { "batchSize": 1, fields: {} }).each(function(err, product) {
    ProcessProduct(product, lineTemplate, function(err, data) {
      fs.appendFile(filename, data, function(err) {
        if (err) throw err;
      });
    });
  });
});

NodeJS脚本和使用jexl处理mongodb文档时的高内存使用率

0 个答案: