如何使用casperJS网页抓取REACT网站?

时间:2018-10-26 17:28:02

标签: reactjs web-scraping phantomjs casperjs reddit

我正在尝试使用Casper和phantom通过Web抓取React网站(ads.reddit.com)。

ads.reddit.com

我可以登录并选择要抓取的数据的日期。问题是,当我单击“导出为CSV”时,应该开始下载文件。我尝试使用下面的代码执行此操作,但是下载完成后,我收到以下消息:“非法缓冲区”

casper.then(function(){
  casper.click(x('//*[@id="app"]/div/div[2]/div[2]/div[1]/div[1]/div/div[4]/button'));
  casper.capture('./captures/img5.png');
  casper.wait(1*60000);
  casper.on('resource.received', function(resource) {
    if (resource.stage !== "end") {
        console.log("resource.stage !== 'end'");
        return;
    }
    else{
        console.log("Downloading csv file");
        this.download(resource.url, 'ExportData.csv');
        this.capture('./captures/img6.png')
    }
  });
});

0 个答案:

没有答案
相关问题