我想知道是否有人可以举例说明如何使用Node.js抓取多个网页？我在网上找到例子，但我想抓一个搜索结果网页。然后，如果有一个“下一步”按钮移动到下一页并查看更多结果，我想移动到下一页并抓取它。
有人做过类似的事吗？
谢谢！
答案 0 :(得分：0)
我使用nightmare.js管理这样的事情。它允许您click('#someElement')和wait('#someElement')使用evaluate获取这些操作之间的页面内容。 必须在允许您这样做的网站中，请注意您可能需要while使用nightmare.exists或for使用页数，您可能需要使用可以获取所有指定元素的查询选择器，例如document.querySelectorAll('.nextPageElement').length（使用querySelectorAll）来获取该计数。只是在需要时尝试继续使用variable lifting并且不要陷入callback hell然后噩梦.js将完成这项工作。