延迟http请求的for循环

时间:2017-03-10 11:34:10

标签: node.js loops url scraper

我刚刚开始使用JS和Node.js.我正在尝试使用Node.js和一些模块(例如requestcheerio)构建一个简单的scraper作为第一个项目。 我想在包含在数组中的每个域的每个http请求之间添加5秒的延迟。你能解释一下怎么做吗?

这是我的代码:

var request = require('request');

var arr = [ "http://allrecipes.com/", "http://www.gossip.fr/" ];

for(var i=0; i < arr.length; i++) {
    request(arr[i], function (error, response, body){
        console.log('error:', error);
        console.log('statusCode:', response && response.statusCode);
        console.log('body:', body);
    });
}

2 个答案:

答案 0 :(得分:2)

使用setTimeout

var request = require('request');
var arr = ["http://allrecipes.com/", "http://www.gossip.fr/" ];

for (var i = 0; i < arr.length; i++) {
    setTimeout(request, 5000 * i, arr[i], function (error, response, body){
        console.log('error:', error);
        console.log('statusCode:', response && response.statusCode);
        console.log('body:', body);
    });
}

你基本上做了循环,并说应该调用request方法,延迟等于5000 * i,即5000毫秒乘以i,所以它会增加5秒对于每个循环迭代。 然后提供将传递给函数的所有参数。

答案 1 :(得分:1)

任何寻求浮华的ES6 + Promises和Async / Await答案的人都可以使用它。

我们在这里使用request-native-promises

const rp = require("request-promise-native");
const productID = [0,1,2,3,4,5,6]

//here we make our timeout synchronous using Promises
function sleep(ms) {
  return new Promise(resolve => setTimeout(resolve, ms));
}

//run your code in an async block
async function demo() {
  for (let i = 0; i < productID.length; i++) {
    const options = {
      method: "GET",
      url: `https://link_to_your_api/productID[i]`,
      json: true,
    };
    const body = await rp(options);
    console.log(`Awaiting 1s ...`);
    //waiting before sleep function executes using it synchronously
    await sleep(1000);
  }
}
demo();

//since I haven't done any error handling
process.on("unhandledRejection", err => {
  console.log("Unhandled rejection:", err.message);
});