智能URL同步/下载引擎可用开源？

Question

我想知道是否有人知道开源URL同步/下载引擎，或者我是否最终会编写自己的。

预期功能： - 提供要在本地磁盘存储上同步的HTTP URL的简单列表 - 引擎负责有效地同步URL内容（HEAD请求检查更改）和有效（使用Gzip压缩执行所有下载） - 最好通过识别经常变化的URL来优化其行为

是否有人意识到此类引擎的实现？优选在Perl？

Answer 1

你看过LWP附带的lwp-mirror程序了吗？这可能是一个很好的起点。或者，wget具有更多功能。