CasperJS / PhantomJS比Curl慢得多

时间:2013-04-07 06:06:52

标签: php web-scraping screen-scraping phantomjs casperjs

当我尝试curl www.yelp.com时需要1.1秒。但是,使用CasperJS检索页面需要一分钟!

这是正常的吗?我如何找出减慢casper / phantom的速度?我怀疑它的一些HTTP重定向,casper没有关注?

var casper = require('casper').create();
var url = 'http://www.yelp.com';

casper.start(url);
casper.then(function() {
    console.log(  this.getHTML() );
    this.exit();
});

casper.run();

enter image description here

1 个答案:

答案 0 :(得分:3)

你在Windows上吗?如果是,则在使用自动代理时会出现神秘的网络问题。有关详细信息,请参阅发行说明:http://phantomjs.org/release-1.9.html

通常,尝试分析网络请求和响应。跟踪网络流量的一种非常简单的方法:

page.onResourceRequested = function (request) {
  console.log('Request ' + JSON.stringify(request, undefined, 4));
};
page.onResourceReceived = function (response) {
  console.log('Receive ' + JSON.stringify(response, undefined, 4));
};

如果您想要时间安排等,您需要进一步调整它。阅读有关此Network Monitoring功能的文档。