异步Web请求正在node.js中进行“socket hangup”

时间:2014-12-31 03:57:55

标签: node.js cheerio node-request

我正在编写一个代码,用于'循环大量时间来废弃网页。代码就像:

var request = require('request');
for(i=0; i<10000; i++){
//request goes here, with processing in its callback
}

但这会导致套接字挂起。然后我尝试sync request来执行此操作,然后代码正常工作并按请求处理请求但这使得执行地狱变慢。请指导如何处理大量的Web请求以进行报废。

1 个答案:

答案 0 :(得分:1)

使用pool模块发送请求时,您应该查看选项request

有3种选择:

  • 设置false
  • 增加maxSockets
  • 增加http.globalAgent.maxSockets

示例:

for (var i = 0; i < 10000; i++) {
   // make a request
   request({
      pool: false,
      // other options
   }, function(err, res, body) {
       // handle response here
   });
}

参考文献: