节点无法抓取某些页面

时间:2015-04-25 08:06:20

标签: node.js request scrape

我不知道这是否与coldfusion页面有什么关系,或者我无法抓取这些.cfm页面

request运行目录的命令行中运行:

node> var request = require('request');
node> var url = 'http://linguistlist.org/callconf/browse-conf-action.cfm?confid=173395';
node> request(url, function (err, res, body) { if (err) { console.log(err) } else { console.log('body:', body) }; });

我已尝试过其他一些.cfm网站,但它们有效,而且我只是得到空白结果所以我不知道它可能是什么

注意:我也尝试过这种准确的require('http').get(url,…)路线,但我得到了相同的空白结果

1 个答案:

答案 0 :(得分:0)

我知道了! (最终)

这个网络服务器真的需要知道如何回答你。 试试这个(它对我有用)

var request = require('request');
var options = {
  url: 'http://linguistlist.org/callconf/browse-conf-action.cfm?confid=173395',
  headers: {
   'Accept-Encoding':'none'
  }
};
request(options, function (err, res, body) { if (err) { console.log(err) } else { console.log('body:', body) }; });