Question

所以我为学习目的制作了一个小刮刀，最后我应该在网站上得到一个树状结构的页面。

我一直在试图让我的请求正确。这或多或少是我所拥有的：

var request = require('request');


function scanPage(url) {

  // request the page at given url:


  request.get(url, function(err, res, body) {

    var pageObject = {};

    /* [... Jquery mumbo-jumbo to

        1. Fill the page object with information and
        2. Get the links on that page and store them into arrayOfLinks 

    */

    var arrayOfLinks = ['url1', 'url2', 'url3'];

    for (var i = 0; i < arrayOfLinks.length; i++) {

      pageObj[arrayOfLinks[i]] = scanPage[arrayOfLinks[i]];

    }
  });

    return pageObj;
}

我知道这个代码在很多层面都是错误的，但它应该让你知道我想要做什么。

我应该如何修改它才能使其正常工作？（如果可能的话，不使用承诺）

（您可以假设该网站具有树状结构，因此每个页面只有三个页面的链接，因此采用递归方式）

Answer 1

我知道你不会出于任何原因而不使用承诺（我不能在评论中问为什么因为我是新手），但我相信承诺是实现这一目标的最好方法。

这是一个使用promises解决问题的解决方案，但可能并不完全符合您的需求：

var request = require('request');
var Promise = require('bluebird');
var get = Promise.promisify(request.get);

var maxConnections = 1; // maximum number of concurrent connections

function scanPage(url) {

    // request the page at given url:

    return get(url).then((res) => {

        var body = res.body;

        /* [... Jquery mumbo-jumbo to

        1. Fill the page object with information and
        2. Get the links on that page and store them into arrayOfLinks

        */

        var arrayOfLinks = ['url1', 'url2', 'url3'];

        return Promise.map(arrayOfLinks, scanPage, { concurrency: maxConnections })
                            .then(results => {
                                var res = {};
                                for (var i = 0; i < results.length; i++)
                                    res[arrayOfLinks[i]] = results[i];
                                return res;
                            });

    });

}

scanPage("http://example.com/").then((res) => {
    // do whatever with res
});

编辑：感谢Bergi的评论，重写代码以避免Promise构造函数反模式。

编辑：以更好的方式重写。通过使用Bluebird的concurrency选项，您可以轻松限制同时连接的数量。

如何使用javascript创建递归刮刀？

1 个答案: