Nutch-如何删除旧段?

时间:2011-12-19 15:32:27

标签: solr hadoop nutch

在nutch中,当我爬行然后重新爬行时,会创建重复的段。 如何删除旧的?

我无法确定是否只使用了最新抓取中创建的细分,而其他所有细分都可以删除,是吗?

1 个答案:

答案 0 :(得分:0)

I can't know for sure that only the segments that were created in the latest crawl are used and all the others can be deleted, can I?

上次抓取时创建的细分非常有用,其他细分也可以删除。