如何修复Nut爬行器中已经存在的.locked?

时间:2019-04-23 03:27:47

标签: nutch

我是nutch的初学者。当我使用bin / nutch爬行命令进行重新爬行时,出现了.locked错误。

以下是我的例外。 链接反转

  

/home/crawler_user/apache-nutch-1.14/bin/nutch反向链接   / data / crawler_user / nutch / crawled-data / linkdb   / data / crawler_user / nutch / crawled-data / segments / 20190423100709 LinkDb:   java.io.IOException:锁定文件   /data/crawler_user/nutch/crawled-data/linkdb/.locked已存在。   在org.apache.nutch.util.LockUtil.createLockFile(LockUtil.java:51)   org.apache.nutch.crawl.LinkDb.invert(LinkDb.java:181)在   org.apache.nutch.crawl.LinkDb.run(LinkDb.java:337)在   org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)在   org.apache.nutch.crawl.LinkDb.main(LinkDb.java:297)运行错误:
  /home/crawler_user/apache-nutch-1.14/bin/nutch反向链接   / data / crawler_user / nutch / crawled-data / linkdb   / data / crawler_user / nutch / crawled-data / segments / 20190423100709失败   退出值为255。

1 个答案:

答案 0 :(得分:0)

假设您没有真正同时运行另一个Nutch进程(它并未真正锁定),那么可以安全地删除/data/crawler_user/nutch/crawled-data/linkdb/.locked文件。这通常意味着该阶段的上一个运行(invertlinks)未成功完成。