删除后，抓取工具会重新索引记录吗？

Question

使用Storm Crawler 1.12.1和Elastic Search 6.5.2。我需要提高搜索引擎的效率。在安全地将索引建立索引之后，出于安全原因删除了一些文档。所以我的问题是，风暴搜寻器将重新获取已删除的URL并再次重新建立索引？我不想重新抓取已删除的记录，如何实现？

Answer 1

我假设您从内容索引中删除了文档。它们可能仍在状态索引中，即使它们不在状态索引中，也可能会重新发现它们并将其添加回去。

最好的办法是将新条目添加到所使用的URLfilters的任意一种中，以便覆盖这些URL，这样，即使重新发现它们也不会重新添加，然后从状态索引中删除它们。