Question

我需要在循环中从url中提取链接，因此基本上我需要再次执行该函数，但是我不知道如何使用nodejs进行此操作。

var request = require('request');
var cheerio = require('cheerio');
var searchTerm = 'baloncesto';
var url = 'http://mismarcadores.com/' + searchTerm;

request(url , function(err,resp,body){
    $ = cheerio.load(body);
    links = $('a');
    $(links).each(function(i,link){
        console.log(url+$(link).attr('href'));
    }
   )
})

我的问题是关于如何从此数组中提取链接，因为此代码可以正常工作（此代码在控制台中显示了链接），但我需要抓取这些链接。

结果将是抓取每个网址。

Answer 1

{{1}}

如果您要询问如何从cheerio接收的链接中提取URL，那么您已经在做了。如果您希望在请求完成后在其他地方使用它们（例如再次进行抓取），则将它们存储在数组中，并在遍历最后一个链接后调用函数以使用该数组。

Answer 2

它应该看起来像这样：

let links = $('a').get().map(a => $(a).attr('href'))

Answer 3

我同意我的解决方案，就像问题一样，但变化不同。

我不会仅提取我通过网址传递的链接来提取所有链接。

var express = require('express');
var fs      = require('fs');
var request = require('request');
var cheerio = require('cheerio');
var app     = express();
var searchTerm = 'baloncesto';
var url = 'http://mismarcadores.com/' + searchTerm;
var arr2 = [];
app.get('/webscrape', function(req, res,body){  
    request(url , function(err,resp,body){
        var array2 = [];
        var array3 = [];
        $ = cheerio.load(body);
        links = $('a'); //jquery get all hyperlinks
        $(links).each(function(i, link){
            if($(link).attr('href').includes("baloncesto")){
                array2.push($(link).attr('href'));
            }
        }); 
        const uniqueLinks = new Set([...array2]);   
        uniqueLinks.forEach((d) => {    
        const row = []; // a new array for each row of data
            row.push(d);
            array3.push(row.join()); // by default, join() uses a ','
        }); 
        fs.writeFile('raaga_output.json', JSON.stringify(array3, null, 4), function(err){
            console.log('File successfully written! - Check your project directory for the raaga_output.json file');
        })      
        res.send('File successfully written! - Check your project directory for the raaga_output.json file');   
    })
})
app.listen('3000')
console.log('Web Scrape happens on port 3000');
exports = module.exports = app;

每个人都可以毫无问题地使用它。

用NodeJS进行爬取

3 个答案: