如何使用node.js使用分页链接来刮取多个页面

Question

我正在尝试废弃网站，因为有1000个列表正在进行分页，如何使用node.js在分页URL的帮助下获取所有数据

Answer 1

也许有一个模块可以做到这一点，但我不知道。 您可以找到分页链接并使您使用的抓取模块也可以抓取下一页。 如果可以通过URL访问分页并且易于描述（domain.page/2，domain.page / 3，...）则要容易得多。 如果只有在单击后才能访问下一页，而不更改URL，则可以使用通常用于测试的库，例如phantom.js或casper.js。