标签： php wikipedia
我需要解析所有维基百科的网页。我怎样才能做到这一点？
我可以通过其站点地图这样做吗？如果是这样，维基百科的网站地图在哪里？
答案 0 :(得分：5)
维基百科不是解析所有网页，而是允许您download their database。这是首选方法，因为它通常会快得多，因为维基百科有超过400万篇文章。
它对维基百科来说也更公平，并且不会让你被他们阻止进行激进的抓取。请阅读this policy