NodeJs:获取分页获取请求

时间:2017-10-25 03:19:27

标签: node.js loops asynchronous get stackexchange-api

从stackexchange API请求Q& As时,JSON响应有一个has_more(布尔)参数,当它为true时表示可能有更多请求

http://api.stackexchange.com/2.2/questions?order=desc&sort=activity&site=stackoverflow&filter=withbody&pagesize=30&tagged=java&page=1

响应看起来像这样

{items: [
      ..]
 has_more: true,
 quota_max: 300,
 quota_remaining: 281
}

我希望在保持quota_max限制的同时获取所有可能的响应的最佳方法。 到目前为止,我的模块能够得到一个结果:

exports.getQuestions = function(q,tag,page){
return new Promise(function(resolve, reject){

var request = require('request');
var url = 'http://api.stackexchange.com/2.2/search?order=desc&sort=votes&site=stackoverflow&filter=withbody&pagesize=30';


url = url + '&q=' + q + '&tagged='+ tag + "&page="+page;

request({headers: {
    'Accept': 'application/json; charset=utf-8',
    'User-Agent': 'RandomHeader'
         },
     uri: url,
     method: 'GET',
     gzip: true
         },
function(err, res, body) {
if (err || res.statusCode !=200){
            reject (err || {statusCode: res.statusCode});
      }
     resolve(body);
          });
})}

但我希望以适当的方式循环或拨打多个电话。任何帮助表示赞赏。

1 个答案:

答案 0 :(得分:5)

你可以将你的getQuestions实现与async await结合使用,只需继续循环请求页面,直到has_more为false,或者达到配额限制......

async function getAllQuestions(q,tag){
    var page = 0 
    var res = await getQuestions(q,tag,page)
    var all = [res]
    while(res.has_more && res.quota_remaining > 0){
        page++
        res=await getQuestions(q,tag,page)
        all.push(res)
    }
    return all
}