从延迟加载的视频中删除视频链接

Question

我正在尝试使用名为icrawler的软件包从页面中抓取视频，但是加载页面后该视频不会立即呈现，因此当我获得该页面的html代码时， video标签不存在，但是如果我在浏览器中打开页面并进行检查，它就会存在。

在抓取视频之前，我如何等待页面加载视频？

Answer 1

该页面最有可能使用javascript加载视频，因此，您将需要能够渲染/执行HTML和javascript的库。

我快速浏览了icrawler，并根据其使用的文档Cheerio引用了其文档“不会产生视觉效果，应用CSS，加载外部资源或执行JavaScript”。

同一文档提到您可以使用PhahomJS（似乎被遗弃）或JSDom之类的东西。另一种选择是使用Selenium。