标签： javascript web-crawler web-scraping
我正在寻找有关如何创建javascript的文档，该javascript将遵循页面或网站上的所有链接，并创建地图或列表。或者，如果有更好的方法来做到这一点，那也会很棒。我只想获得一个包含3000多页的网站上所有页面的完整列表。我也不知道要在这个问题上加上什么标签，所以这方面的提示会很冷淡。
答案 0 :(得分：1)
您正在寻找的内容称为：
使用谷歌，您将能够找到您喜欢的技术的解决方案。
我个人喜欢python包scrapy
更新：，例如，只需搜索“javascript屏幕抓取教程”即可为您提供：pjScrape用javascript编写的网页抓取框架