通过网络抓取获取雅虎评论2

时间:2018-04-24 02:08:56

标签: javascript web-scraping casperjs

我正在尝试使用casperjs提取在雅虎新闻页面上找到的文章的所有评论。 我首先要做的是点击" ver reacciones"按钮,然后单击加载的第一个注释的响应按钮以显示响应注释。 到目前为止,得到第一个评论和你的答案,但我找不到所有评论的所有答案的方法,只需几句话,所有评论和页面上的回复评论。 任何能帮我搞定的算法? 链接:https://espanol.yahoo.com/noticias/el-fallo-de-orbita-del-supercohete-que-lanzaron-con-un-tesla-al-espacio-y-pasara-de-largo-marte-191841996.html

 //click button "ver reacciones"
 casper.waitForSelector('a.comments-title', function () {

    this.click('.comments-title');
});
//click button "ver mas"
casper.waitForSelector('button.showMore', function () {
    this.click('.showMore');
}
   , function onWaitTimeout() {
    //button does not exist
});

//click on "answer" buttons
var buttons;
casper.waitForSelector('ul.comments-list', function getLinks() {
buttons = this.evaluate(function ()
    {           
        var buttons = document.getElementsByClassName('replies-button');
        buttons = Array.prototype.map.call(buttons, function (button) {
            button.click();      
            casper.waitForSelector('ul.comments-list', function () {                   
            });
            return button.getAttribute('class');
        });
        return buttons;
    });
}
, function onWaitTimeout() {

});

casper.waitForSelector('ul.comments-list > li', function () {  
    var x = this.getHTML('ul.comments-list');    
    this.echo(x);
   }
   , function onWaitTimeout() {        
});

casper.run();

0 个答案:

没有答案