我是nutch的初学者。当我使用bin / nutch爬行命令进行重新爬行时,出现了.locked错误。
以下是我的例外。 链接反转
/home/crawler_user/apache-nutch-1.14/bin/nutch反向链接 / data / crawler_user / nutch / crawled-data / linkdb / data / crawler_user / nutch / crawled-data / segments / 20190423100709 LinkDb: java.io.IOException:锁定文件 /data/crawler_user/nutch/crawled-data/linkdb/.locked已存在。 在org.apache.nutch.util.LockUtil.createLockFile(LockUtil.java:51) org.apache.nutch.crawl.LinkDb.invert(LinkDb.java:181)在 org.apache.nutch.crawl.LinkDb.run(LinkDb.java:337)在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)在 org.apache.nutch.crawl.LinkDb.main(LinkDb.java:297)运行错误:
/home/crawler_user/apache-nutch-1.14/bin/nutch反向链接 / data / crawler_user / nutch / crawled-data / linkdb / data / crawler_user / nutch / crawled-data / segments / 20190423100709失败 退出值为255。
答案 0 :(得分:0)
假设您没有真正同时运行另一个Nutch进程(它并未真正锁定),那么可以安全地删除/data/crawler_user/nutch/crawled-data/linkdb/.locked
文件。这通常意味着该阶段的上一个运行(invertlinks
)未成功完成。