我已经能够滚动到我的网页末尾以加载所有动态内容。但在这之后我想评估页面以获取一些数据。我的问题是如果我运行的不同于简单的
casper.echo("something");
我的代码断了,我没有得到契约数据。这是我的代码:
var casper = require('casper').create();
casper.start("http://mypageWithDynamicContentOnScroll.com");
var linksPrendas = [];
casper.waitForSelector('#idOfDivContainingDynamicContent',function(){
scrollNow();
});
var currentHeight;
var page = 1;
function scrollNow(){
casper.scrollToBottom();
casper.waitForSelector("#page"+page+"Height", function() {
casper.echo('scrolling...');
page++;
scrollNow();
},
function _onTimeout(){
});
}
var data = '';
casper.then(function(){
casper.echo('e');
//data = __utils__.findOne('div#someId').textContent;
casper.echo('f');
//var links = this.evaluate(function() {
// casper.echo("Evaluate ");
// var elements = __utils__.findAll('a');
// return elements. map (function (e) {
// return e.getAttribute('href');
// });
//});
});
casper.run(function(){
// var data = casper.evaluate(function() {
// var elements = __utils__.findAll('a.productListLink');
// return elements.map(function(e) {
// return e.getAttribute('href');
// });
// casper.echo("Evaluate ");
// return [1,2,3];
// });
casper.echo("Then");
casper.echo(elements);
casper.echo("DONE").exit();
});
您可以从我的一些评论代码中看到,我尝试了许多不同的选项而没有任何成功。我也尝试将evaluate或findAll放在_onTimeout回调中。我要么打破代码又要打破#34; DONE"永远不会打印,或者我永远不会在评估或其他任何内容中执行代码。
滚动工作正常,如果没有滚动,我可以设法评估页面并获得想要的内容。
那么我怎样才能做到这一点?滚动完成后评估页面?
谢谢
编辑: 我还测试了在调用scrollNow()之后将一个回调函数传递给scrollNow()以继续执行。调用回调,但再次,没有运气评估findAll或任何其他函数来获取所需数据。
答案 0 :(得分:1)
在casper
之外casper.evaluate
对象只有 ,__utils__
内casper.evaluate
只有 。调用casper.echo(...)
将导致TypeError并将停止执行。
如果您想从页面上下文(casper.evaluate
内)打印内容,则需要注册"remote.message"
事件:
casper.on("remote.message", function(msg){
this.echo(msg);
});
...
casper.evaluate(function(){
console.log("something from the page");
});
其他一切看起来都不错。