如何使用Web scraper获取动态生成的JavaScript数据

Question

只需下载HTML然后解析出所需内容，即可删除大多数网页的数据。但是，一些网页在加载页面后使用JavaScript动态加载其内容，以便在原始HTML中找不到所需的数据。

请帮助我如何使用网络抓取器动态生成JavaScript数据。

Answer 1

您可以使用适用于Firefox的Web Developer Add-on。选择查看来源 - ＆gt;在页面完成加载后查看生成的源，您将在新窗口中获取HTML中的联系人。 然后，您可以继续使用当前使用的任何解析器。