有人知道开源网络蜘蛛吗？

Question

我正在寻找一个网络蜘蛛，它会收集它看到的所有链接，将它们保存到文件中，然后在完成其索引的其他链接之后对这些链接进行索引。它不必拥有漂亮的UI或任何东西。只要它可以从网站跳到网站。它也可以是任何语言，但是，不建议Nutch。

Answer 1

我喜欢NCrawler，但它需要一些.NET技能。

易于入手且易于扩展。看看吧！

Answer 2

wget将蜘蛛网站，可配置并且是开源的。它是用C语言编写的。

不确定它是否会吐出一个链接列表，但它会保存它运行的所有文件，然后很容易将其转换为链接列表。