如何抓取网页并获取包含某些关键字的网站列表

时间:2010-12-31 05:07:39

标签: search web-crawler

我需要浏览整个网络,并获取我字典中包含某些关键字的网站的链接。

我需要从网络上动态获取网址和其他网址。任何人都可以向我建议可以为我完成此操作的程序或工具。

1 个答案:

答案 0 :(得分:0)

检查: -

  • Lucene / apache Solr用于编制索引。
  • Perl LWP模块LWP