为什么CasperJS中的这个简单脚本不能在bestbuy.com上运行

时间:2017-04-24 11:27:16

标签: javascript web-scraping phantomjs web-crawler casperjs

我正在和CasperJS一起做一些练习,而我却陷入了一个非常简单的练习中。

我不知道bestbuy.com网站是否以某种方式阻止了连接。我尝试了一些不同的网站,他们工作正常。

标题不会打印在控制台上,而phantomjs任务也不会退出任务。

这里有简单的脚本:



var casper = require('casper').create({
  verbose:true,
  logLevel:'debug',
  pageSettings:{
    loadImages: true,
    loadPlugins: false,
    userAgent: 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'
  }
});

var url = 'http://www.bestbuy.com/';

casper.start(url, function () {
  this.echo(this.getTitle());
});

casper.run();




有人可以解释这是怎么回事吗?

谢谢:)

1 个答案:

答案 0 :(得分:0)

出于某种原因,看起来bestbuy可能会阻止你的使用者。

这对我有用: -

var casper = require('casper').create({
  verbose:true,
  logLevel:'debug'
});

var url = 'http://www.bestbuy.com/';

casper.start(url, function () {
  this.echo(this.getTitle());
});

casper.run();

这会正确输出标题

enter image description here