带有CSV列表的JS Cheerio Web抓取

时间:2019-02-21 10:25:13

标签: javascript java csv cheerio

我已经编写了一个基本的js脚本来抓取网站以获取数据。 但是,我目前在网站上保存,然后在cmd中运行该节点。 很好,只不过我有900个网站链接可做。所以杀了我。

我一直在尝试将CVS网址列表传递给每次运行的方法。但是没有运气。仅供参考,我是.js编码的新手。

目前我所拥有的是

const request = require('request');
const cheerio = require('cheerio');
const fs = require('fs');


request('https://www.examplesite.com/stuffimscraping', (error, response, html ) => {
if(!error && response.statusCode == 200) {
    const $ = cheerio.load(html);

    const Description = $('.product--description');

   const desc= Description.html();

 fs.appendFile('data.csv',`${desc}\n`,
        function (err) {
          if (err) throw err;
        console.log('Saved!');
        }); 



}

});

希望能够使用此功能从我拥有的cvs文件中逐行收集网址。

任何帮助将不胜感激。

0 个答案:

没有答案