Question

我目前有一个app.get（）方法，该方法使用request和cheerio从iTunes评论中提取html。

// get all reviews
app.get('/api/reviews', function(req, res) {
  var options = {
    url: 'https://itunes.apple.com/WebObjects/MZStore.woa/wa/customerReviews',
    qs: {
     'displayable-kind': '11',
     'id': 'XXXXXXXXX',
     'page': i,
     'sort': '4'
    },
    headers: {
      'User-Agent': 'iTunes/10.3.1 (Macintosh; Intel Mac OS X 10.6.8) AppleWebKit/533.21.1',
      'X-Apple-Store-Front': '143441-1,12',
      'X-Apple-Tz': '-18000',
      'Accept-Language': 'en-us, en;q=0.50',
    }
  } 

  request(options, function(error, response, html) {
    // load html, parse, do work, etc.
    // res.send(results);
  }     
};

我想迭代这个url调用，'page'查询是一个如下变量。我收到了“错误：发送后无法设置标头”。以这种方式尝试时出错。你如何改变标题并进行另一个网址调用？

app.get('/api/reviews', function(req, res) {
  for(var i = 0; i < 4; i++) {
    var options = {
      url: 'https://itunes.apple.com/WebObjects/MZStore.woa/wa/customerReviews',
      qs: {
       'displayable-kind': '11',
       'id': 'XXXXXXXXX',
       'page': '1',
       'sort': '4'
      },
      headers: {
        'User-Agent': 'iTunes/10.3.1 (Macintosh; Intel Mac OS X 10.6.8) AppleWebKit/533.21.1',
        'X-Apple-Store-Front': '143441-1,12',
        'X-Apple-Tz': '-18000',
        'Accept-Language': 'en-us, en;q=0.50',
      }
    } 

    request(options, function(error, response, html) {
      // load html, parse, do work, etc.
    }
  }     
};

Answer 1

您遇到的问题是您尝试以块的形式发送结果页面，但这不起作用。您可以通过收集所有request结果来解决此问题，然后将您需要的任何数据发送回客户端。

以下是使用async执行此操作的示例：

var async = require('async');

app.get('/api/reviews', function(req, res) {
  async.times(4, function(i, cb) {
      var options = {
        url: 'https://itunes.apple.com/WebObjects/MZStore.woa/wa/customerReviews',
        qs: {
         'displayable-kind': '11',
         'id': 'XXXXXXXXX',
         'page': i,
         'sort': '4'
        },
        headers: {
          'User-Agent': 'iTunes/10.3.1 (Macintosh; Intel Mac OS X 10.6.8) AppleWebKit/533.21.1',
          'X-Apple-Store-Front': '143441-1,12',
          'X-Apple-Tz': '-18000',
          'Accept-Language': 'en-us, en;q=0.50',
        }
      } 
      request(options, function(error, response, html) {
        // load html, parse, do work, etc.
        // var result = ...;
        cb(null, result);
      });
  }, function(err, results) {
    // completed processing of all items
    // array of `request` results are stored in results
    // send data to client here
  });
});

使用Request（Node.js）遍历多个URL

1 个答案: