node.js流管道异步或同步

时间:2014-10-10 10:33:51

标签: javascript node.js

问题:这是与student.js的learnyounode模块JugglingAsync中的问题。 “此问题与上一个问题(HTTP COLLECT)相同,因为您需要使用http.get()。但是,这次您将获得三个URL作为前三个命令行参数。

您必须收集每个网址提供给您的完整内容,然后将其打印到控制台(标准输出)。您不需要打印长度,只需将数据打印为String;每个网址一行。问题是您必须按照与作为命令提供给您的URL相同的顺序打印它们 行参数。“

我尝试使用node.js stream.readable类来管道从第一个URL到第二个URL的响应以及从第三个URL到第三个URL的响应。我期待这将同步运行,即当第一个请求完成时,第二个请求将被管道传输。我正在使用package bl(https://www.npmjs.org/package/bl)来收集get请求的所有响应数据。 下面的代码片段:

var https = require('http');
var bl = require('bl');
var finalString = '';

https.get( process.argv[2], function(response)
    {
        response.setEncoding('utf8');
        response.pipe(bl(function (err, data)
        {
            console.log("First request called");
            if (err) return console.error(err);
            console.log(data.toString());

        })).pipe(bl(function(err, data)
        {

            console.log("Second Request called");
            https.get (process.argv[3], function( response)
            {
                response.setEncoding('utf8');
                response.pipe(bl( function (err, data)
                {
                    if (err) return console.error(err);                    
                    console.log(data.toString());

                }))
            }).on('error', function(err)
                {
                    console.log(err);
                })
        })).pipe( bl(function(err,data)
            {
                console.log("Third request called");
                https.get (process.argv[4], function( response)
                {

                    response.setEncoding('utf8');
                    response.pipe(bl( function (err, data)
                    {
                        if (err) return console.error(err);                        
                        console.log(data.toString());

                    }))

                }).on('error', function(err)
                    {
                        console.log(err);
                    })
            })
            )
    }).on('error', function (err)
    {
            console.log(err);
    }
);

输出不遵循请求顺序。我做错了什么?

1 个答案:

答案 0 :(得分:2)

据我所知,Streams {in nodejs }中的pipe是异步的,但我在某处读过它们也可以充当同步。上面的解决方案以异步方式运行,因此以随机顺序打印数据。

您的解决方案可以按照以下方式使用: -

var https = require('http');
var bl = require('bl');
var finalData = [];
var count = 0;

https.get( process.argv[2], function(response)
    {
        response.setEncoding('utf8');
        response.pipe(bl(function (err, data)
        {
            // console.log("First request called");
            if (err) return console.error(err);
            finalData[0] = data.toString();
            count++;
            printThemOut(count);

        })).pipe(bl(function(err, data)
        {

            // console.log("Second Request called");
            https.get (process.argv[3], function( response)
            {
                response.setEncoding('utf8');
                response.pipe(bl( function (err, data)
                {
                    if (err) return console.error(err);
                    finalData[1] = data.toString();
                    count++;
                    printThemOut(count);

                }))
            }).on('error', function(err)
                {
                    console.log(err);
                })
        })).pipe( bl(function(err,data)
            {
                // console.log("Third request called");
                https.get (process.argv[4], function( response)
                {

                    response.setEncoding('utf8');
                    response.pipe(bl( function (err, data)
                    {
                        if (err) return console.error(err);
                        finalData[2] = data.toString();
                        count++;
                        printThemOut(count);
                    }))

                }).on('error', function(err)
                    {
                        console.log(err);
                    })
            })
            )
    }).on('error', function (err)
    {
            console.log(err);
    }



);

function printThemOut(count) {
  if (count == 3) {
    for (var i = 0; i < finalData.length; i++) {
      console.log(finalData[i]);
    }
  }
}

上面的解决方案有效,但问题是(在我的情况下),第一个URL调用的第一个数据,第一个单词丢失。

  

{我认为在第一个网址的相同数据上使用多个管道的原因}

<强>释

我们需要一个计数器来索引http.get()提取的数据,以便第一个URL数据存储在索引0和第二个1索引中,依此类推。这有助于同步所有异步数据......

正确的解决方案

正确的解决方案是循环调用并在每个数据上使用单个管道......

var http  = require("http");
var bl    = require("bl");

var completeData = [];
var count = 0;
for (var i = 2; i < process.argv.length; i++) {
  (function(index){
    http.get(process.argv[index], function(res) {
      res.pipe(bl(function(err, data) {
        if (err) {
          return console.log(err);
        }
        // console.log(index);
        completeData[index-2] = data.toString();
        count++;
        // console.log("Data: " + data.toString());
        if (count === process.argv.length-2) {
          printThemOut(completeData);
        }
      }))
    })
  })(i);
}

function printThemOut(data) {
  for (var i = 0; i < data.length; i++) {
    console.log(data[i]);
  }
}