标签: solr nutch
现在我使用以下命令抓取网站:
bin/nutch generate -topN 20 bin/nutch fetch -all bin/nutch parse -all bin/nutch updatedb
但是使用这种方法需要很长时间才能拥有该网站的所有链接。我想抓取一个网站并获取所有链接。
我怎样才能实现这一目标?
答案 0 :(得分:0)
bin/nutch crawl是您要查找的命令
bin/nutch crawl