有人可以推荐网络蜘蛛吗？

Question

是否有可以抓取论坛内容的网络蜘蛛？

我的公司没有提供互联网连接，所以我想抓一个论坛的主题，然后我可以看看公司的内容。

我尝试过WebLech，它只能抓取静态页面。

Answer 1

试试wget。我用它来镜像整个（或部分）网站供离线使用，它工作正常。有关简介，请参阅this article。