Question

我正在运行nodejs，而不是作为网络服务器，而是从命令行对照phantom-cluster软件包附带的example.js的大量修改版本。服务器是AWS实例中的Ubuntu 13.10。

我的目标是＆＃34; ping＆＃34;超过64000个网址来测试404或500个http错误。如果出现错误，请将该错误记录下来以便以后处理。

这是我的代码：

(function() {
var WEBSITES, cluster, enqueueRequests, main, phantomCluster;
var fs = require('fs');  
phantomCluster = require("./index");

cluster = require("cluster");
WEBS = [];

function loadUrls(callback)
{
    console.log("starting loaded");
    var fs = require('fs');
    var urls = [];
    fs.readFile("/home/ubuntu/phantom-cluster/theurls.txt", 'utf8', function (err, data) 
    {
        if (err) throw err;
        var myArray = data.split("\n");
        for(i=0;i<myArray.length;i++)
        {
            urls.push(myArray[i]);
        }
        callback(null,urls);
    })
}   

enqueueRequests = function(engine) 
{
    fulfilled = 0;
    loadUrls(function(err,WEBS)
    {
        console.log(">>" + WEBS.length + " urls to process");   
        var enqueuer, i, key, _i, _results;
        enqueuer = function(request) 
        {
            var item;
            item = engine.enqueue(request);

            item.on("timeout", function() 
            {
                fs.appendFile("/home/ubuntu/error_log.log", "TIMEOUT: " + request + "\r\n", function (err) {});
            });

            return item.on("response", function() 
            {
                fulfilled++;
                console.log(fulfilled);  
            });
        };

        _results = [];
        for (i = i = 0;i < 1; i++) 
        {
            _results.push((function() 
            {
                var _results1;
                _results1 = [];
                for(x=0;x<WEBS.length;x++) 
                {
                    _results1.push(enqueuer(WEBS[x]));
                }
                return _results1;
            })());
        }
        return _results;
    });
};

main = function() 
{
    var engine;
    engine = phantomCluster.createQueued(
    {
        workers: 20,
        workerIterations: 1,
        phantomBasePort: 54321
    });
    if (cluster.isMaster) 
    {
        enqueueRequests(engine);
    } 


    engine.on("queueItemReady", function(url) 
    {
        var _this = this;
        var retVal;

        urlArray = url.split("|");
        var phantom = this.ph;
        var curPage = phantom.createPage(function(page) 
        {
            page.set('settings.loadImages', false);
            page.set('settings.javascriptEnabled', false);
            page.set('settings.resourceTimeout', 5000);
            page.set('settings.userAgent','Mozilla/5.001 (windows; U; NT4.0; en-US; rv:1.0) Gecko/25250101');
            page.set('onError', function(msg, trace) 
            {
                var msgStack = ['ERROR: ' + msg];
                if (trace && trace.length) 
                {
                    msgStack.push('TRACE:');
                    trace.forEach(function(t) 
                    {
                        msgStack.push(' -> ' + t.file + ': ' + t.line + (t.function ? ' (in function "' + t.function +'")' : ''));
                    });
                }
                console.error(msgStack.join('\n'));
            });
            page.set('onResourceReceived', function(response) 
            {
                if((response.status == "404") || (response.status == "500")) 
                {
                    myUrl = decodeURI(response.url);
                    if(myUrl == urlArray[0])
                    {
                        retVal = response.status + "|" + url;
                        fs.appendFile("/home/ubuntu/error_log.log", response.status + "|" + url + "\r\n", function (err) {});
                        return retVal;
                    }
                }       
            });
            page.open(urlArray[0], function(status) 
            {
                _this.next(); // _this is a PhantomQueuedClusterClient object
                return _this.queueItemResponse(status);
            });
        });
    });
    return engine.start();
};

main();

}).call(this);

引用为index.js的文件位于： https://github.com/dailymuse/phantom-cluster/blob/master/index.js 我根本没有修改它。

这很好用，并引发20个工作进程，这些进程出去并获取排队网址的初始响应代码。

问题在于：经过960-990网址处理后，整个事情就停止了。没有错误代码，没有任何错误。

我已经尝试过从某种节点超时到我能想到的一切问题，以及给定网址敲打我桌面的问题。当我为它创建测试时，前两个将返回错误。第三个让我头疼。

任何人对此有任何帮助或经验吗？

编辑我对代码进行了更新并添加了on.response回调，然后调用了nextTick方法从队列中删除了该项。仍然有同样的问题。

Answer 1

你看过link-crawler了吗？它使用幻像群集和预渲染来完成您正在寻找的内容。

Answer 2

如果您要查看的是HTTP状态代码，则不需要无头浏览器来执行此操作。 Node可以使用http.request()或使用request-promise等承诺的东西自行完成。

除非您需要验证正在抓取的网页的呈现内容，否则无需在浏览器中呈现网页，只需对网址进行HTTP调用并反省其状态。

使用Phantom-Cluster的Nodej就停止了

2 个答案: