我在我的应用中使用搜寻器npm从具有特定标签的网站获取所有图像,但是该网站在开始时仅加载40张图像,而向下滚动则再加载40张图像,而总加载次数又增加了40张260,我想全部拿走。
我的代码如下:
const c = new Crawler({
callback: async function(error, res, done) {
if (error) {
console.log({error})
} else {
const tag = '.person div img';
const images = res.$(tag);
images.each(index => {
var name = images[index].attribs.alt.toString()
.replace(/"/g, '') //remove quotes(")
.replace(/\s+/g, '-'); //change spaces for (-)
let localFilePath = './' + name + '.jpg'
saveImageToDisk(images[index].attribs.src, localFilePath)
这使我能将所有页面加载到文件系统(40)中,但是当我向下滚动时如何获取其余的加载信息呢?
谢谢