document.querySelectorAll不能通过延迟加载获取页面上的所有元素

时间:2018-06-27 09:14:34

标签: javascript jquery web-scraping

我正在尝试使用Firefox控制台下载以下网页上的音频文件:https://www.facebook.com/sound/collection/?sound_collection_tab=sound_effects(要求登录到Facebook,对不起)

这是我正在使用的代码段:

var links = document.querySelectorAll('div._661- a[href]:not([href="#"]');
links.forEach( link => setTimeout(link.click(), 500) );

问题在于,即使我手动滚动以加载页面上的所有1.7K项目,querySelectorAll最多也只能返回40个元素。与getElementsByTagName相同。

我还尝试过var n = 0; while (n < 20) {window.scrollTo(0,document.querySelector(".uiScrollableAreaContent").scrollHeight); n++};以避免使用鼠标滚轮进行手动滚动,但这似乎没什么用。

使用JavaScript在这种类型的动态/延迟加载滚动页面上获取所有元素的最佳方法是什么?

0 个答案:

没有答案