有没有办法或工具自动访问我网站的所有页面

Question

我想自动访问/抓取我网站上的所有网页，以便生成缓存文件。有没有办法或工具呢？

Answer 1

只需使用下载整个页面的任何机器人：

https://superuser.com/questions/14403/how-can-i-download-an-entire-website

例如wget：

wget -r --no-parent http://site.com/songs/

Answer 2

您可以使用wget的递归选项来执行此操作。将example.com更改为您的域名：

wget --recursive --no-parent --domains=example.com --level=inf --delete-after

Answer 3

你使用CMS吗？你有你的网页列表吗？您可以编写一个简单的PHP循环来使用CURL或php fopen（）

加载所有页面

$pages_ar = array(
    "http://mydomain.com/page1.htm",
    "http://mydomain.com/page2.htm",
    "http://mydomain.com/page2.htm",
);

foreach($pages_ar as $page)
{
   fopen($page, "r");
}

基本但我希望你明白这个想法......

Answer 4

surfen的方法是正确的，但如果你想要一个php解决方案，你可以检查Symfony 2-s BrowserKit组件，它可以作为一个独立的组件使用。

https://github.com/symfony/BrowserKit