我使用nightmare.js构建了一个简单的节点脚本来抓取网站
var Nightmare = require('nightmare');
var vo = require('vo');
vo(run)(function(err, result) {
if (err) throw err;
});
function *run() {
var x = Date.now();
var nightmare = Nightmare();
var html = yield nightmare
.goto('http://google.com')
.evaluate(function() {
return document.getElementsByTagName('html')[0].innerHTML;
});
console.log("done in " + (Date.now()-x) + "ms");
console.log("result", html);
yield nightmare.end();
}
我想在使用旧版本节点的环境中运行它,该节点不支持ES6功能。如果没有“yield”关键字,github页面上没有关于如何执行此操作的示例。
我确实在这里找到了没有ES6语法的使用示例:Webscraping with nightmare
我是这样写的:var night = new Nightmare()
.goto('http://www.google.com')
.evaluate(function () {
return document.getElementsByTagName('html')[0].innerHTML;
},function (html) {
console.log("result", html);
}
)
.run(function (err, nightmare) {
if (err) return console.log(err);
console.log('Done!');
});
它不会崩溃,但永远不会调用结果记录功能。
使用yield语法,从“evaluate”获取返回值非常简单,但没有它,我找不到任何方法。
更新 写了这个感谢接受的答案及其评论。它使用'Q'并在0.12之前的节点版本中工作:
var Nightmare = require('nightmare');
var Promise = require('q').Promise;
var x = Date.now();
var nightmare = Nightmare();
Promise.resolve(nightmare
.goto('http://google.com')
.evaluate(function() {
return document.getElementsByTagName('html')[0].innerHTML;
})).then(function(html) {
console.log("done in " + (Date.now()-x) + "ms");
console.log("result", html);
return nightmare.end();
}).then(function(result) {
}, function(err) {
console.error(err); // notice that `throw`ing in here doesn't work
});
答案 0 :(得分:12)
文档太可怕了,但似乎Nightmare是基于theables。我也没有找到关于回调接口的更多信息,但这无论如何都会导致缩进金字塔。
所以你最好的选择是使用promises,只需选择大致符合ES6标准的any library(它们都可以在非ES6环境中使用)。
您可以轻松地将线性生成器代码转换为承诺链,只需通过yield
调用替换每个then
:
var Nightmare = require('nightmare');
var Promise = require('…');
var x = Date.now();
var nightmare = Nightmare();
Promise.resolve(nightmare
.goto('http://google.com')
.evaluate(function() {
return document.getElementsByTagName('html')[0].innerHTML;
})).then(function(html) {
console.log("done in " + (Date.now()-x) + "ms");
console.log("result", html);
return nightmare.end();
}).then(function(result) {
…
}, function(err) {
console.error(err); // notice that `throw`ing in here doesn't work
});