Question

我有5个端点需要获取信息。我一次只能抓取500个物体。我的思考过程是，我需要遍历每个端点并将返回的结果推送到我的对象。然后，我将请求嵌套在do while循环中，以确保循环继续到整个obj。例如，如果我有50,000个候选者，则do while循环将经历100次并将每个结果推送到obj，然后在完成后将其推送到parentObj。由于异步性质，我遇到了在返回get请求之前循环完成的问题。由于顺序无关紧要，我如何确保在循环增加之前请求成功返回？我正在阅读David的Article，闭包在for循环中起作用，但在do while时不起作用。在这种情况下，关闭一段时间后如何工作？如果我的逻辑不正确，请纠正我。

var dataArr = ['/v1/candidates?per_page=500&page=1','/v1/eeoc?per_page=500&page=1','/v1/jobs?per_page=500&page=1','/v1/job_stages?per_page=500&page=1','/v1/applications/?per_page=500&page=1'];
var parentObj = {};

for ( var i = 0; i < dataArr.length; i++ ) {

    var options = {
      hostname: 'myURL',
      port: 443,
      path: dataArr[i],
      method: 'GET',
      headers: {
         'Authorization' : 'Basic MYKEY',
      }
    };

    var obj = {};
    do {
       https.get(options, (res) => {
          res.on('data', (d) => {
             var result = d.toString('utf8');
             // push returned result object to obj 
          });
       }).on('error', (e) => {
         console.error(e);
       });
     } while (obj.length % 500 === 0 && obj.length ==! 0); 
     // push obj to parentObj here
    } 
};
callback(null, parentObj);

Answer 1

问题不是闭包，问题是请求的回调将在循环完成后发生，而从不执行。因此，在继续循环之前，您必须等待该请求：

 (async function() {
   for ( var i = 0; i < dataArr.length; i++ ) {

      var options = {
        hostname: 'myURL',
        port: 443,
        path: dataArr[i],
        method: 'GET',
        headers: {  'Authorization' : 'Basic MYKEY'   }
      };

      var obj = {};
      do {
        try {
         const request = await new Promise(resolve => https.get(options, resolve));
         const result = await new Promise((resolve, reject) => {
            request.on("data", d => resolve(d.toString("utf8")));
            request.on("error", reject);
         });
        } catch(e) { /* handle request errors */ }
       } while (obj.length % 500 === 0 && obj.length ==! 0); 
       // push obj to parentObj here
      } 
      callback(null, parentObj);
  }
})();

https库可能会提供一些帮助来处理Promise，但是由于我不了解它们，我手动创建了它们

在do while循环中使用闭包获取请求

1 个答案: