将网页保存到localbox

时间:2011-07-21 14:08:05

标签: linux macos http

有什么方法可以将我对网页的所有首次访问下载到我的本地方框,所有后续访问都会从本地方框而不是互联网上检索数据?也就是说,就像服务在端口上运行一样,如果我访问该端口而不是HTTP端口,我从本地框中获取数据?

我需要使用此服务来解析其内容可能每次都会更改的网页,以便我可以使用相同的内容。

3 个答案:

答案 0 :(得分:2)

您可以使用squid等高速缓存代理。

squid服务在本地存储网页,下一个请求返回存储的文件。

答案 1 :(得分:0)

听起来你在谈论代理服务器

答案 2 :(得分:0)

  

我需要使用此服务来解析内容可能会更改的网页

寻找一个蜘蛛引擎,例如pavuk。