如何在嵌套的for循环中调用异步函数而不会耗尽内存?

时间:2011-06-14 00:06:42

标签: node.js

我有这样的代码:

for (var i in data) {
  for (var j in data[i]) {
    for (var k in data[i][j]) {
      db.data.insert({i:i, j:j, k:k}, emptyCallback);
    }
  }
}

但我的内存不足,因为它正在排队所有插入内容。如何在插入完成之前使for循环暂停?

我已经尝试将所有记录推送到一个数组以便稍后插入,但随后数组变得太大而且我的内存耗尽了。

2 个答案:

答案 0 :(得分:0)

简单的答案是以递归方式执行:在回调中执行下一个插入而不是传递空回调。

答案 1 :(得分:0)

每次调用回调时都需要迭代到下一个键,如下所示:

function get_first_keys(data, keys)
{
   var ki = Object.keys(data);
   for (var i = keys[0]; i < ki.length; ++i)
   {
       var kj = Object.keys(data[ki[i]]);
       for (var j = keys[1]; j < kj.length; ++j)
       {
           var kk = Object.keys(data[ki[i]][kj[j]]);
           for (var k = keys[2]; k < kk.length; ++k)
           {
               return [i, j, k];
           }              
       }

   }
}

function get_next_keys(data, keys)
{
   var i = keys[0];
   var j = keys[1];
   var k = keys[2];

   var ki = Object.keys(data);
   var kj = Object.keys(data[ki[i]]);
   var kk = Object.keys(data[ki[i]][kj[j]]);

   if (k + 1 < kk.length)
       return [i, j, k + 1];
   if (j + 1 < kj.length)
       return get_first_keys(data, [i, j+1, 0]);
   if (i + 1 < ki.length)
       return get_first_keys(data, [i+1, 0, 0]);
   return;
}


var current_keys = get_first_keys(data, [0, 0, 0]);

function insert()
{
   if (!current_keys)
       return;
   key = {};
   key.i = Object.keys(data)[current_keys[0]];
   key.j = Object.keys(data[key.i])[current_keys[1]];
   key.k = Object.keys(data[key.j])[current_keys[2]];
   db.data.insert(key, insert);  
   current_keys = get_next_keys(data, current_keys);
}


insert();