标签： apache nutch
因此，我的Nutch 1.15提取程序运行了数周。最后，我手动终止了该作业，因为所有最新的URL都被403-ed编辑，因为该网站阻止了我。但这意味着您无法继续进行解析阶段。因此，我启动了fetcher的备份，但我不认为它会在中断的地方恢复，因为一天后它完成了，当我去解析时，只有几千页，然后解析器完成了。
但是我在map reduce文件夹中仍然有大约600GB的已爬网数据。无论如何，我可以检索这些爬网的URL吗？还是手动终止提取程序作业意味着它丢失了所有已爬网的内容？