我可以使用casperjs和phantomjs读取HTTP请求

时间:2013-11-10 10:28:50

标签: web web-scraping phantomjs casperjs

我是casperjs和phantomjs的新手。我只是运行一个爬虫来读取HTTP请求(可能正在使用Fiddler或网络调试器)。我只想知道,我们可以在使用casperjs和phantomjs打开页面时获取http请求数据

1 个答案:

答案 0 :(得分:3)

您可以使用onResourceRequested来获取所有请求,包括标头。 (您可以使用onResourceReceived查看正在发送的标头。)

以下代码适用于PhantomJS,并向您展示可用的所有内容。

var page = require('webpage').create();

page.onResourceRequested = function(requestData, networkRequest) 
{
    console.log(JSON.stringify(requestData));
};

page.onResourceReceived = function(response) 
{
    console.log(JSON.stringify(response));
};

page.open(url,function()
{
    phantom.exit();
});

对于CasperJS casper.page用于相同的事情(假设您创建了一个名为casper的对象)。