高性能Web蜘蛛的开发

Question

我想开发一个WebSpider守护进程（PHP / C / C ++） 你知道如何发展的一个很好的参考 高性能网络爬虫？

Answer 1

Here是一个带有用java编写的源代码的示例库。此外，here是带有原理图的“大型”爬虫的示例。