我已经编写了一个基本的js脚本来抓取网站以获取数据。 但是,我目前在网站上保存,然后在cmd中运行该节点。 很好,只不过我有900个网站链接可做。所以杀了我。
我一直在尝试将CVS网址列表传递给每次运行的方法。但是没有运气。仅供参考,我是.js编码的新手。
目前我所拥有的是
const request = require('request');
const cheerio = require('cheerio');
const fs = require('fs');
request('https://www.examplesite.com/stuffimscraping', (error, response, html ) => {
if(!error && response.statusCode == 200) {
const $ = cheerio.load(html);
const Description = $('.product--description');
const desc= Description.html();
fs.appendFile('data.csv',`${desc}\n`,
function (err) {
if (err) throw err;
console.log('Saved!');
});
}
});
希望能够使用此功能从我拥有的cvs文件中逐行收集网址。
任何帮助将不胜感激。