搜寻器如何从向下滚动时加载的页面获取数据?

时间:2019-02-11 08:03:23

标签: node.js web-scraping crawler4j

我在我的应用中使用搜寻器npm从具有特定标签的网站获取所有图像,但是该网站在开始时仅加载40张图像,而向下滚动则再加载40张图像,而总加载次数又增加了40张260,我想全部拿走。

我的代码如下:

const c = new Crawler({
    callback: async function(error, res, done) {
        if (error) {
            console.log({error})
        } else {
            const tag = '.person div img';
            const images = res.$(tag);

            images.each(index => {

                var name = images[index].attribs.alt.toString()
                                        .replace(/"/g, '') //remove quotes(")
                                        .replace(/\s+/g, '-'); //change spaces for (-)
                let localFilePath = './' + name + '.jpg'
                saveImageToDisk(images[index].attribs.src, localFilePath)

这使我能将所有页面加载到文件系统(40)中,但是当我向下滚动时如何获取其余的加载信息呢?

谢谢

0 个答案:

没有答案