我怎么能用php获取网页列表（sitemap）？

Question

我需要获得所有页面的有限列表，这属于某些网站Php。代码怎么样？有限意味着功能（一些网址，页面限制）。

Answer 1

没有标准的方法可以做到这一点。有些网站会发布XML sitemap并从robots.txt链接到该网站，但大多数网站都没有。

您可以通过抓取网站来组装网站上的部分网页列表，例如请求网站上的一个页面，搜索指向其他页面的链接，以及请求这些页面。但是，不能保证找到网站上的所有页面 - 有些页面可能无法访问！ - 这是一个复杂的过程。