尝试使用 jquery 获取“标题”时使用 axios 出现错误 403

Question

我正在尝试使用 axios 和cheerio 从网站上抓取标题

这是我的功能：

async function getWebsiteInfo(uniqueId, req, res) {
    const axios = require('axios');
    const cheerio = require('cheerio');

    axios.get(req.body.url)
        .then(response => {
            const html = response.data;
            const $ = cheerio.load(html);
            const scrapedata = $('title').first().text();
            console.log(scrapedata);
            var object = {
                "uuid": uniqueId,
                "url": req.body.url,
                "info": scrapedata
            }

            addToDatabase(object, res);
        }).catch(error => {
            console.log(error);
        });
}

我能做些什么来避免出现 403 错误？

Answer 1

查看浏览器在网络面板中发送的标头并尝试发送：