抓取站点并编译每个URL的有效负载统计信息的工具？

Question

我的目标是抓取指定的网站，并记录网站上每个网页的总有效负载的统计信息。有效载荷是指一旦下载原始文档，css，js，图像等的字节数。我试图整理一个图表，显示我网站上“最重”的页面，以便可以先处理这些页面。

有没有人知道这样做的任何工具或技术？我倾向于与PHP或Python中的Web应用程序很好地集成。

Answer 1

我见过关于plenty of questions on SO的Mechanize，他们通常看起来只需要一点点代码就可以完成很多工作。