Nutch会在添加新页面时自动抓取我的网站吗？

Question

当我向网站添加新页面时，Nutch会自动抓取吗？

Answer 1

不，您必须从头开始重新抓取或创建索引。

Answer 2

不会自动重新抓取。您可以执行以下任一操作：

1. 重新抓取新网址的父网页，以便新网址进入抓取网格，并在随后的获取轮次中提取。
2. 通过inject命令将新网址直接添加到crawldb。

Answer 3

您应该进行预定抓取，以使您的数据保持最新状态。

Open source Java Job Schedulers