网站抓取幻影js有问题吗?

时间:2018-07-10 21:53:45

标签: javascript phantomjs

我正在尝试使用phantom.js从网页中抓取html,但是随后出现此奇怪的错误。一次运行脚本时,我得到正确的响应,但是当我再次尝试时,我没有响应。

看起来像是永远加载。我不想呼叫phantom.exit(),因为它停止了服务器。那么,我怎么可能做错了?

var page = require('webpage').create(),
    server = require('webserver').create();

var service = server.listen(8003, function (request, response) {

    console.log('Request received at ' + new Date());

    // TODO: parse `request` and determine where to go
    page.open('https://www.sportpesa.co.ke/?sportId=1&league=76080&leagueName=la%20liga&top=0',function() {
        setTimeout(function() {
            var test = page.plainText
            console.log(page.plainText);
            response.write(page.plainText)
            response.close();
            page.close();
        })
    })

});

1 个答案:

答案 0 :(得分:0)

我认为您的问题是您是在第一次之后关闭页面,然后尝试再次使用它。 Per the docs,您不应该这样做

  

关闭页面并释放与其关联的内存堆。 调用此页面后不要使用页面实例。

尝试根据每个请求重新创建page对象,如下所示:

var webpage = require('webpage'),
    server = require('webserver').create();

var service = server.listen(8003, function (request, response) {

    console.log('Request received at ' + new Date());

    let page = webpage.create()
    
    // TODO: parse `request` and determine where to go
    page.open('https://www.sportpesa.co.ke/?sportId=1&league=76080&leagueName=la%20liga&top=0',function() {
        setTimeout(function() {
            var test = page.plainText
            console.log(page.plainText);
            response.write(page.plainText)
            response.close();
            page.close();
        })
    })

});