网页抓取多个网址

时间:2019-06-26 21:52:36

标签: javascript discord.js cheerio

我需要对不和谐的bot使用多个URL进行一些Web抓取(我需要从多个url中获取h3元素内的第一个href并与bot一起发送),我设法使其仅适用于一个网址

x = Dense(10, use_bias=False)(some_input_tensor)

2 个答案:

答案 0 :(得分:1)

无需使用两个时间间隔。循环浏览您的网址。

const urls = ['some url','some url2']
const Discord = require('discord.js')
const client = new Discord.Client()
const cheerio = require('cheerio');
const rp = require('request-promise');

client.on('ready', () => {
    let generalChannel = client.channels.get("593113450398613537")

    //repeat this for every 2 hours
    setInterval (function () {
        for(let url of urls) {
            let a_href = ''

            try {
                const $ = await rp({
                    url,
                    resolveWithFullResponse: true,
                    transform: (body) => cheerio.load(body)
                });

                //get the first href from a h3 element
                a_href = $('.table h3 > a').attr('href')
            } catch(e) {
                console.log(e);
            }

            generalChannel.send(a_href)
        }
    }, 7200000);
})

答案 1 :(得分:0)

使用for循环或迭代器遍历URL数组。看来您实际上是在覆盖您的uri常量。

您可能很幸运,将您的url传递到数组中,这样:

Foundation

然后使用for循环或迭代器遍历数组。